Определение структуры качества данных относится к

Question

Может ли кто-нибудь помочь мне определить структуру качества данных для анализа данных какого-либо типа? Просто описание высокого уровня того, что он должен делать? Просто ваши мысли об этом.

Answer 1

Ответ зависит от контекста, который вас интересует (например, для поддержки определенного домена или использования определенной технологии) ... надеюсь, эти заметки высокого уровня могут быть использованы.

Таким образом, учитывая, что принятые по данным решениям предполагают уровень качества этих данных - например, принятие стратегических решений с использованием совокупной «информации управления» или для автоматизированной обработки - тогда структура оценки качества данных может оценивать что данные по ряду мер, так что уровень уверенности в качестве данных понимается.

В практическом плане, каждый атрибут данные могут быть оценены для измеримых вещей:

1. , если он является обязательным, это заселена;
2. , если он представлен конкретным типом данных (например, дата, число), соответствует ли это определению;
3. делает бизнес-правил атрибут встретиться
   • простые правила, такие как максимальные/минимальные значения;
   • более сложные правила, такие как ограничения на ежедневные изменения стоимости;
   • правила агрегации по набору значений;
4. правила перекрестных атрибутов, в которых значения зависят от других значений атрибута;
5. если он хранится в нескольких местах, он согласован;
6. Это правильное значение.

Пункты 1-5 может быть автоматизированы (например, с помощью SQL, если вы используете базы данных, или сделанный на заказ пакет DQ). Последний элемент может опираться на выборку (поскольку вы можете передавать все правила, но только иметь неправильное значение).

После того, как вы оценили свои данные с помощью технического элемента вашего фреймворка, тогда вполне может быть и другой «управляющий» угол, например. форум по качеству данных, для оценки воздействия несоответствующих элементов, определения приоритетов, отслеживания исправлений, публикации сведений и т. д.