Source 是项目范围内的连接身份。每个驱动程序都会解析当前环境中哪些元数据、预览、查询、传输、写入、删除或质量操作是安全的。
由服务器拥有的来源与项目上下文、只读策略和有限结果支持查询在成为 SavedQuery、Dataset 或可视化输入前的发现过程。带编号标签页是持久工作区,支持重命名、自动保存和乐观版本处理,因此离开浏览器不会静默丢弃当前草稿。
上传和安全 URL 导入首先创建具有 SHA-256 的不可变 Drive 版本。任何转换入队前,预检会解析内容、分隔符、引号、表头和架构。
经验证的 CSV、分隔 UTF-8 文本、JSON 对象记录和 XLSX 第一张工作表内容会加载到新的物理表版本中。只有结果验证成功后,稳定别名才会更改。
公共目录提供 ExecuteQ、QueryTransfer、DirectStreamTransfer、SchemaTransfer、TransformSchema、DeleteSchema、NoSqlDelete、DataQualityRule 和 Master。每次分派都会创建持久化 PipelineRun;隐藏的旧定义不会仅因旧记录仍存在就变为受支持能力。
已排队、运行中、失败、部分完成、已取消和已恢复的工作必须保持可区分。监控中断不能证明状态变更操作从未到达目标。Pipeline 目前没有通用取消、重试、回滚或严格一次执行契约,并且数据库最小权限角色仍是强制要求。
Source 暴露能力,而不是依赖假设。
Source 是项目范围内的连接身份。每个驱动程序都会解析当前环境中哪些元数据、预览、查询、传输、写入、删除或质量操作是安全的。
SQL Console 用于探索,而非数据库管理。
由服务器拥有的来源与项目上下文、只读策略和有限结果支持查询在成为 SavedQuery、Dataset 或可视化输入前的发现过程。带编号标签页是持久工作区,支持重命名、自动保存和乐观版本处理,因此离开浏览器不会静默丢弃当前草稿。
有效 Source 与 SQL 请求进入执行后,无论成功还是失败,服务执行都会保留为 QueryExecution。
SavedQuery 保留可编辑 SQL;提升为 Dataset 会创建独立的受治理数据资产和血缘引用。
来源方言的注释语法和安全只读处理通过共享执行边界统一规范,而不是依赖仅适用于 PostgreSQL 的包装器。
文件保留其原始身份。
上传和安全 URL 导入首先创建具有 SHA-256 的不可变 Drive 版本。任何转换入队前,预检会解析内容、分隔符、引号、表头和架构。
通过感知格式的检查识别 CSV、TXT、TSV、PSV、DSV、DAT、DATA、LOG、JSON 和 XLSX。
当有限内容分类验证为文本时,使用其他扩展名的文本文件也可采用分隔文本路径。
分隔符、控制字节、引号/转义、表头决策、预览行和警告保持可见,供用户确认。
文件名和稳定别名冲突会被明确解决并记录,而不会静默覆盖现有对象。
在稳定别名处进行原子发布。
经验证的 CSV、分隔 UTF-8 文本、JSON 对象记录和 XLSX 第一张工作表内容会加载到新的物理表版本中。只有结果验证成功后,稳定别名才会更改。
-
验证不可变输入
加载前检查文件身份、大小、校验和、解析器决策和行结构。
-
创建影子表版本
新的物理版本与当前可见的稳定别名隔离。
-
加载、分析并验证
记录行列数、架构和有限样本;部分加载永远不会成为当前表。
-
提升或清理
只有已验证结果会移动别名;失败时保留上一版本可用,并记录本次运行尝试。
System Sandbox Source 在当前 Project 架构下向 SQL Console 暴露托管别名。
重命名和恢复会创建可审计的生命周期变更;恢复操作可以有意重新暴露较早的架构契约。
Pipeline 如实呈现已经实现的执行能力。
公共目录提供 ExecuteQ、QueryTransfer、DirectStreamTransfer、SchemaTransfer、TransformSchema、DeleteSchema、NoSqlDelete、DataQualityRule 和 Master。每次分派都会创建持久化 PipelineRun;隐藏的旧定义不会仅因旧记录仍存在就变为受支持能力。
Master 支持有序任务、等待和质量关口,以及串行或并行批次。
继续执行会根据先前子项状态创建新运行,不会改写原始运行。
Job 定义可变,目前没有不可变 JobVersion。
系统会存储间隔/cron 调度意图,但目前没有活跃的调度分派器或可靠的下次运行计算。
失败状态是结果的一部分。
已排队、运行中、失败、部分完成、已取消和已恢复的工作必须保持可区分。监控中断不能证明状态变更操作从未到达目标。Pipeline 目前没有通用取消、重试、回滚或严格一次执行契约,并且数据库最小权限角色仍是强制要求。
下一步
从不容含糊的流程开始。
带上真正重要的系统、责任人、规则、交付义务和证据要求。
讨论关键流程