Визуальные шаблоны охватывают проверки NULL, пустых значений, уникальности, количества строк, диапазона значений, шаблона, допустимых значений и ссылочной целостности. Пользовательский SQL поддерживает более сложные проверки, если условие успеха определено точно.
Качество данных
Находите отклонения в данных до следующего шага.
Определите требования к приемлемым данным, запускайте повторяемые проверки и изучайте записанные ошибки. Используйте поддерживаемые контрольные этапы, чтобы остановить последующую работу при провале обязательной проверки.
Предварительный просмотр показывает действие текущего правила, но не сохраняет выполнение. Сохранение создаёт или изменяет правило. Немедленный запуск или поддерживаемый шаг Pipeline сохраняет результат проверки и, при неуспехе, находку в установленном объёме.
Отдельное задание Data Quality или управляющий этап Master может остановить поддерживаемую последующую работу при ошибке. Точные PipelineRun, QualityRun и событие запуска остаются разными записями.
Для пользовательского SQL нет универсального независимого парсера одного оператора только для чтения. Модальное окно правила SQL Console также требует повторного запуска после редактирования SQL, поскольку прежний результат не подтверждает текущий черновик. Sources должны использовать учётные данные с минимально необходимыми правами чтения, а образцы ошибок не должны содержать секреты и ненужные персональные данные.
QualityRule изменяем и не закреплён непосредственно за DatasetVersion. Выполнение наборов правил, автоматическое исправление, полный процесс устранения Findings и подтверждённая доставка уведомлений пока не поддерживаются. Управляемая таблица Sandbox участвует через System Sandbox Source своего Project, а не через отдельный скрытый путь качества.
Начните с явного требования.
Визуальные шаблоны охватывают проверки NULL, пустых значений, уникальности, количества строк, диапазона значений, шаблона, допустимых значений и ссылочной целостности. Пользовательский SQL поддерживает более сложные проверки, если условие успеха определено точно.
Проверки NULL и пустых значений
Ограничения уникальности и количества строк
Диапазоны числовых или сопоставимых значений
Проверки шаблона SQL LIKE и допустимых значений
Проверки существования ссылок
Явные пользовательские SQL-проверки
Сначала проверьте правило, затем сохраните и выполните его.
Предварительный просмотр показывает действие текущего правила, но не сохраняет выполнение. Сохранение создаёт или изменяет правило. Немедленный запуск или поддерживаемый шаг Pipeline сохраняет результат проверки и, при неуспехе, находку в установленном объёме.
Предварительный просмотр выполняется синхронно и не сохраняется.
Сохранение изменяет определение изменяемого QualityRule.
Немедленный запуск, Pipeline и выполнение Master сохраняют QualityRun.
Ошибка сохраняет ограниченный Finding Data Quality; он отделён от процесса Assurance Finding.
Качество может управлять реализованным процессом.
Отдельное задание Data Quality или управляющий этап Master может остановить поддерживаемую последующую работу при ошибке. Точные PipelineRun, QualityRun и событие запуска остаются разными записями.
Минимальные привилегии остаются обязательными.
Для пользовательского SQL нет универсального независимого парсера одного оператора только для чтения. Модальное окно правила SQL Console также требует повторного запуска после редактирования SQL, поскольку прежний результат не подтверждает текущий черновик. Sources должны использовать учётные данные с минимально необходимыми правами чтения, а образцы ошибок не должны содержать секреты и ненужные персональные данные.
Знайте, что проверяется, а что по-прежнему требует отдельной обработки.
QualityRule изменяем и не закреплён непосредственно за DatasetVersion. Выполнение наборов правил, автоматическое исправление, полный процесс устранения Findings и подтверждённая доставка уведомлений пока не поддерживаются. Управляемая таблица Sandbox участвует через System Sandbox Source своего Project, а не через отдельный скрытый путь качества.
Следующий шаг
Начните с процесса, в котором недопустима неоднозначность.
Опишите важные системы, ответственных лиц, правила, обязательства по поставке и требования к доказательствам.
Обсудить критически важный процессКратко
Для чего нужна эта часть advanexus?
Определите требования к приемлемым данным, запускайте повторяемые проверки и изучайте записанные ошибки. Используйте поддерживаемые контрольные этапы, чтобы остановить последующую работу при провале обязательной проверки.
Что проверить перед использованием?
Выполнение наборов правил, автоматическое исправление и полный процесс устранения выявленных проблем пока не поддерживаются.