Визуальные шаблоны охватывают проверки NULL, пустых значений, уникальности, количества строк, диапазона значений, шаблона, допустимых значений и ссылочной целостности. Пользовательский SQL поддерживает более сложные проверки, если условие успеха определено точно.
Качество данных
Сделайте качество частью выполнения, а не документом после него.
Data Quality преобразует ориентированные на источник требования в повторяемые SQL-проверки с ясным условием успеха, сохранённым QualityRun и ограниченными доказательствами ошибки.
Предварительный просмотр проверяет текущую интерпретацию. Сохранение создаёт или изменяет изменяемое правило. Немедленный запуск или поддерживаемый этап Pipeline создаёт постоянный QualityRun и ограниченный Finding при ошибке.
Отдельное задание Data Quality или управляющий этап Master может остановить поддерживаемую последующую работу при ошибке. Точные PipelineRun, QualityRun и событие запуска остаются разными записями.
Для пользовательского SQL нет универсального независимого парсера одного оператора только для чтения. Модальное окно правила SQL Console также требует повторного запуска после редактирования SQL, поскольку прежний результат не подтверждает текущий черновик. Sources должны использовать учётные данные с минимально необходимыми правами чтения, а образцы ошибок не должны содержать секреты и ненужные персональные данные.
QualityRule изменяем и не закреплён непосредственно за DatasetVersion. Выполнение наборов правил, автоматическое исправление, полный процесс устранения Findings и подтверждённая доставка уведомлений пока не поддерживаются. Управляемая таблица Sandbox участвует через System Sandbox Source своего Project, а не через отдельный скрытый путь качества.
Начните с явного требования.
Визуальные шаблоны охватывают проверки NULL, пустых значений, уникальности, количества строк, диапазона значений, шаблона, допустимых значений и ссылочной целостности. Пользовательский SQL поддерживает более сложные проверки, если условие успеха определено точно.
Проверки NULL и пустых значений
Ограничения уникальности и количества строк
Диапазоны числовых или сопоставимых значений
Проверки шаблона SQL LIKE и допустимых значений
Проверки существования ссылок
Явные пользовательские SQL-проверки
Предварительный просмотр, сохранение и Run — разные действия.
Предварительный просмотр проверяет текущую интерпретацию. Сохранение создаёт или изменяет изменяемое правило. Немедленный запуск или поддерживаемый этап Pipeline создаёт постоянный QualityRun и ограниченный Finding при ошибке.
Предварительный просмотр выполняется синхронно и не сохраняется.
Сохранение изменяет определение изменяемого QualityRule.
Немедленный запуск, Pipeline и выполнение Master сохраняют QualityRun.
Ошибка сохраняет ограниченный Finding Data Quality; он отделён от процесса Assurance Finding.
Качество может управлять реализованным процессом.
Отдельное задание Data Quality или управляющий этап Master может остановить поддерживаемую последующую работу при ошибке. Точные PipelineRun, QualityRun и событие запуска остаются разными записями.
Минимальные привилегии остаются обязательными.
Для пользовательского SQL нет универсального независимого парсера одного оператора только для чтения. Модальное окно правила SQL Console также требует повторного запуска после редактирования SQL, поскольку прежний результат не подтверждает текущий черновик. Sources должны использовать учётные данные с минимально необходимыми правами чтения, а образцы ошибок не должны содержать секреты и ненужные персональные данные.
Текущие границы не скрываются.
QualityRule изменяем и не закреплён непосредственно за DatasetVersion. Выполнение наборов правил, автоматическое исправление, полный процесс устранения Findings и подтверждённая доставка уведомлений пока не поддерживаются. Управляемая таблица Sandbox участвует через System Sandbox Source своего Project, а не через отдельный скрытый путь качества.
Следующий шаг
Начните с процесса, в котором недопустима неоднозначность.
Опишите важные системы, ответственных лиц, правила, обязательства по поставке и требования к доказательствам.
Обсудить критически важный процесс