Передача запросом, прямая потоковая передача и передача схемы предъявляют разные требования к источнику, назначению и типам. Предварительная проверка должна определить возможности до попытки записи.
Контролируемая миграция данных
Перенесите миграцию из изолированных скриптов в сохраняемые и наблюдаемые потоки запусков.
Подключите одобренные унаследованные и целевые Sources, выберите реализованный шаблон передачи, сохраните результат PipelineRun и добавьте явные проверки качества вокруг передачи ответственности.
Data Quality может сравнить количество строк, обязательные значения или референциальные ожидания до продолжения Master-потока. QualityRun и PipelineRun сохраняют отдельные значения статуса и диагностики.
Определения заданий изменяемы, сохранённые расписания не запускают задания, а общего контракта отмены, повтора, отката или однократного выполнения нет. Ценность решения в том, что эти границы остаются видимыми.
Выберите шаблон передачи, поддерживаемый коннекторами.
Передача запросом, прямая потоковая передача и передача схемы предъявляют разные требования к источнику, назначению и типам. Предварительная проверка должна определить возможности до попытки записи.
Рассматривайте проверку как отдельный контрольный этап.
Data Quality может сравнить количество строк, обязательные значения или референциальные ожидания до продолжения Master-потока. QualityRun и PipelineRun сохраняют отдельные значения статуса и диагностики.
Не обещайте механизм рабочих процессов, которого нет.
Определения заданий изменяемы, сохранённые расписания не запускают задания, а общего контракта отмены, повтора, отката или однократного выполнения нет. Ценность решения в том, что эти границы остаются видимыми.
Следующий шаг
Начните с процесса, в котором недопустима неоднозначность.
Опишите важные системы, ответственных лиц, правила, обязательства по поставке и требования к доказательствам.
Обсудить критически важный процесс