Source は Project スコープの接続アイデンティティです。各ドライバーが、現在の環境で安全に実行できるメタデータ、プレビュー、クエリ、転送、書き込み、削除、品質操作を解決します。
データ運用
明示的なスコープと実行コンテキストの下で、接続、検査、変換、実行を行います。
すべてのコネクターを同一のクエリ／書き込みモデルに均一化することなく、異種 Sources と制御されたファイルから、管理テーブル、品質確認、永続化された実行履歴へ進みます。
サーバー管理の Source／Project コンテキスト、読み取り専用のポリシー、上限付き結果により、クエリが SavedQuery、Dataset、可視化入力になる前の探索を支援します。番号付きタブは名前変更、自動保存、楽観的ロックによるリビジョン処理を備えた永続的なワークスペースなので、ブラウザーを離れても現在の下書きが黙って破棄されることはありません。
アップロードと安全な URL インポートは、まず SHA-256 を持つ不変 Drive バージョンを作成します。変換をキューに入れる前に、事前検査がコンテンツ、区切り文字、引用符、ヘッダー、スキーマを解決します。
検証済み CSV、区切り付き UTF-8 テキスト、JSON オブジェクト記録、XLSX の最初のワークシートの内容は、新しい物理テーブルバージョンへ読み込まれます。安定エイリアスは結果検証に成功した後にのみ変更されます。
公開カタログは ExecuteQ、QueryTransfer、DirectStreamTransfer、SchemaTransfer、TransformSchema、DeleteSchema、NoSqlDelete、DataQualityRule、Master を公開します。各ディスパッチは永続化された PipelineRun を作成します。古い記録が残っているだけで、非表示の旧来の定義が対応済みになることはありません。
キュー待ちの、実行中の、失敗した、部分的な、キャンセルされた、復旧したの作業は区別可能でなければなりません。監視中断は状態を変更する操作が対象に到達しなかった証拠ではありません。Pipeline には現在一律のキャンセル、再試行、ロールバック、正確に一度の契約がなく、最小権限のデータベースロールが必須です。
Sources は推測ではなく、ケイパビリティを公開します。
Source は Project スコープの接続アイデンティティです。各ドライバーが、現在の環境で安全に実行できるメタデータ、プレビュー、クエリ、転送、書き込み、削除、品質操作を解決します。
SQL Console は探索のための機能であり、データベース管理機能ではありません。
サーバー管理の Source／Project コンテキスト、読み取り専用のポリシー、上限付き結果により、クエリが SavedQuery、Dataset、可視化入力になる前の探索を支援します。番号付きタブは名前変更、自動保存、楽観的ロックによるリビジョン処理を備えた永続的なワークスペースなので、ブラウザーを離れても現在の下書きが黙って破棄されることはありません。
有効な Source と SQL リクエストが実行に入ると、成功または失敗したサービス実行が QueryExecution として保持されます。
SavedQuery は編集可能な SQL を保持します。Dataset 昇格は別個のガバナンスされたデータ資産とリネージュ参照を作成します。
Source 方言ごとのコメント構文と安全な読み取り専用の処理は、PostgreSQL 専用ラッパーではなく共通の実行境界で正規化されます。
ファイルは元のアイデンティティを保持します。
アップロードと安全な URL インポートは、まず SHA-256 を持つ不変 Drive バージョンを作成します。変換をキューに入れる前に、事前検査がコンテンツ、区切り文字、引用符、ヘッダー、スキーマを解決します。
CSV、TXT、TSV、PSV、DSV、DAT、DATA、LOG、JSON、XLSX は、形式を認識する検査によって認識されます。
別の拡張子を持つテキストファイルも、上限付きコンテンツ分類で確認できれば区切りテキスト経路を利用できます。
区切り文字、制御バイト、引用符/エスケープ文字、ヘッダー判断、プレビュー行、警告は、利用者が確認できる状態で表示されます。
ファイル名と安定したエイリアスの衝突は、既存オブジェクトを黙って上書きせず、明示的に解決して記録します。
安定したエイリアスへの公開はアトミックなに行われます。
検証済み CSV、区切り付き UTF-8 テキスト、JSON オブジェクト記録、XLSX の最初のワークシートの内容は、新しい物理テーブルバージョンへ読み込まれます。安定エイリアスは結果検証に成功した後にのみ変更されます。
-
不変入力を検証する
読み込み前にファイル識別情報、サイズ、チェックサム、パーサー判断、行構造を確認します。
-
シャドーテーブルバージョンを作成する
新しい物理的なバージョンは、現在表示中の安定したエイリアスから分離されます。
-
読み込み、プロファイル、検証を行う
行/列件数、スキーマ、制限されたサンプルを記録します。部分的な読み込みが現在のテーブルになることはありません。
-
昇格またはクリーンアップを行う
検証済みの結果だけがエイリアスを移動します。失敗時は以前のバージョンを利用可能なまま保持し、試行した実行を記録します。
System Sandbox Source は、現在の Project スキーマの下で管理されたエイリアスを SQL Console に公開します。
名前変更と復元は監査可能なライフサイクル変更を作成します。復元は以前のスキーマ契約を意図的に再公開できます。
Pipeline は、実装済みの実行機能を正確に示します。
公開カタログは ExecuteQ、QueryTransfer、DirectStreamTransfer、SchemaTransfer、TransformSchema、DeleteSchema、NoSqlDelete、DataQualityRule、Master を公開します。各ディスパッチは永続化された PipelineRun を作成します。古い記録が残っているだけで、非表示の旧来の定義が対応済みになることはありません。
Master は、順序付きのジョブ、待機、品質ゲート、直列の／並列のバッチに対応します。
継続実行は以前の子処理状態から新しい実行を作成し、元の実行を書き換えません。
ジョブ定義は変更可能であり、現在不変の JobVersion はありません。
間隔/cron スケジュール意図は保存されますが、有効なスケジュールディスパッチャーや信頼できる次回実行の計算はありません。
失敗状態も結果の一部です。
キュー待ちの、実行中の、失敗した、部分的な、キャンセルされた、復旧したの作業は区別可能でなければなりません。監視中断は状態を変更する操作が対象に到達しなかった証拠ではありません。Pipeline には現在一律のキャンセル、再試行、ロールバック、正確に一度の契約がなく、最小権限のデータベースロールが必須です。
次のステップ
曖昧さを許容できないフローから始めましょう。
重要なシステム、担当者、ルール、提供責任、証拠要件をお聞かせください。
重要なフローについて相談する