Source — это идентификатор подключения в области Project. Каждый драйвер определяет, какие операции с метаданными, предварительным просмотром, запросами, переносом, записью, удалением или качеством безопасны в текущей среде.
Операции с данными
Подключайте, исследуйте, преобразуйте и выполняйте с явной областью и контекстом Run.
Переходите от разнородных Sources и контролируемых файлов к управляемым таблицам, проверкам качества и сохранённой истории выполнения, не сводя все коннекторы к одной модели запросов или записи.
Управляемый сервером контекст Source и Project, политика только для чтения и ограниченные результаты поддерживают обнаружение до того, как запрос станет SavedQuery, Dataset или входом визуализации. Нумерованные вкладки являются постоянными рабочими пространствами с переименованием, автосохранением и оптимистической обработкой ревизий, поэтому выход из браузера не удаляет текущий черновик незаметно.
Загрузка и безопасный импорт по URL сначала создают неизменяемую версию Drive с SHA-256. Предварительная проверка определяет содержимое, разделитель, кавычку, заголовок и схему до постановки преобразования в очередь.
Проверенные CSV, текст UTF-8 с разделителями, записи объектов JSON и содержимое первого листа XLSX загружаются в новую физическую версию таблицы. Стабильный псевдоним меняется только после успешной проверки результата.
Публичный каталог содержит ExecuteQ, QueryTransfer, DirectStreamTransfer, SchemaTransfer, TransformSchema, DeleteSchema, NoSqlDelete, DataQualityRule и Master. Каждая отправка на выполнение создаёт сохранённый PipelineRun; скрытые унаследованные определения не становятся поддерживаемыми только потому, что старая запись всё ещё существует.
Работы в состояниях «в очереди», «выполняется», «ошибка», «частично», «отменено» и «восстановлено» должны оставаться различимыми. Прерывание мониторинга не доказывает, что операция, изменяющая состояние, не достигла цели. В Pipeline пока нет универсального контракта отмены, повтора, отката или однократного выполнения, а роли базы данных с минимальными привилегиями остаются обязательными.
Sources открывают возможности, а не предположения.
Source — это идентификатор подключения в области Project. Каждый драйвер определяет, какие операции с метаданными, предварительным просмотром, запросами, переносом, записью, удалением или качеством безопасны в текущей среде.
SQL Console предназначена для исследования, а не администрирования базы данных.
Управляемый сервером контекст Source и Project, политика только для чтения и ограниченные результаты поддерживают обнаружение до того, как запрос станет SavedQuery, Dataset или входом визуализации. Нумерованные вкладки являются постоянными рабочими пространствами с переименованием, автосохранением и оптимистической обработкой ревизий, поэтому выход из браузера не удаляет текущий черновик незаметно.
Успешное или неуспешное сервисное выполнение сохраняется как QueryExecution, когда в выполнение поступает корректный Source и SQL-запрос.
SavedQuery хранит редактируемый SQL; продвижение в Dataset создаёт отдельный управляемый информационный актив и ссылку происхождения.
Синтаксис комментариев диалекта Source и безопасная обработка только для чтения нормализуются на общих границах выполнения, а не в одной обёртке только для PostgreSQL.
Файлы сохраняют исходный идентификатор.
Загрузка и безопасный импорт по URL сначала создают неизменяемую версию Drive с SHA-256. Предварительная проверка определяет содержимое, разделитель, кавычку, заголовок и схему до постановки преобразования в очередь.
CSV, TXT, TSV, PSV, DSV, DAT, DATA, LOG, JSON и XLSX распознаются посредством проверки с учётом формата.
Текстовый файл с другим расширением может обрабатываться как текст с разделителями, если это подтверждает ограниченная классификация содержимого.
Разделитель, управляющий байт, кавычка и экранирование, решение о заголовке, строки предварительного просмотра и предупреждения остаются видимыми для подтверждения пользователем.
Конфликты имён файлов и стабильных псевдонимов разрешаются и регистрируются явно, а не перезаписывают существующий объект незаметно.
Публикация под стабильным псевдонимом выполняется атомарно.
Проверенные CSV, текст UTF-8 с разделителями, записи объектов JSON и содержимое первого листа XLSX загружаются в новую физическую версию таблицы. Стабильный псевдоним меняется только после успешной проверки результата.
-
Проверить неизменяемый вход
Идентификатор файла, размер, контрольная сумма, решение парсера и структура строк проверяются до загрузки.
-
Создать теневую версию таблицы
Новая физическая версия изолирована от текущего видимого стабильного псевдонима.
-
Загрузить, профилировать и проверить
Количество строк и столбцов, схема и ограниченные образцы регистрируются; частичная загрузка никогда не становится текущей таблицей.
-
Опубликовать или очистить
Псевдоним переключается только на проверенный результат; при ошибке предыдущая версия остаётся доступной, а предпринятый Run регистрируется.
System Sandbox Source открывает управляемые псевдонимы для SQL Console в текущей схеме Project.
Переименование и восстановление создают проверяемые изменения жизненного цикла; восстановление может намеренно повторно открыть прежний контракт схемы.
Pipeline честно показывает реализованное выполнение.
Публичный каталог содержит ExecuteQ, QueryTransfer, DirectStreamTransfer, SchemaTransfer, TransformSchema, DeleteSchema, NoSqlDelete, DataQualityRule и Master. Каждая отправка на выполнение создаёт сохранённый PipelineRun; скрытые унаследованные определения не становятся поддерживаемыми только потому, что старая запись всё ещё существует.
Master поддерживает упорядоченные задания, ожидания и контрольные точки качества, а также последовательные или параллельные группы.
Продолжение создаёт новый Run на основе прежнего статуса дочернего выполнения; оно не переписывает исходный Run.
Определения заданий изменяемы и пока не имеют неизменяемого JobVersion.
Намерение интервального расписания или расписания cron сохраняется, но активный диспетчер расписаний и надёжный расчёт следующего запуска отсутствуют.
Состояние ошибки является частью результата.
Работы в состояниях «в очереди», «выполняется», «ошибка», «частично», «отменено» и «восстановлено» должны оставаться различимыми. Прерывание мониторинга не доказывает, что операция, изменяющая состояние, не достигла цели. В Pipeline пока нет универсального контракта отмены, повтора, отката или однократного выполнения, а роли базы данных с минимальными привилегиями остаются обязательными.
Следующий шаг
Начните с процесса, в котором недопустима неоднозначность.
Опишите важные системы, ответственных лиц, правила, обязательства по поставке и требования к доказательствам.
Обсудить критически важный процесс