数据操作

在明确的范围与运行上下文中连接、检查、转换和执行。

从异构 Source 和受控文件进入托管表、质量检查和持久化执行历史,同时不把所有连接器强行简化成同一种查询或写入模型。

从异构 Source 和受控文件进入托管表、质量检查和持久化执行历史,同时不把所有连接器强行简化成同一种查询或写入模型。
Source 暴露能力,而不是依赖假设。

Source 是项目范围内的连接身份。每个驱动程序都会解析当前环境中哪些元数据、预览、查询、传输、写入、删除或质量操作是安全的。

SQL Console 用于探索,而非数据库管理。

由服务器拥有的来源与项目上下文、只读策略和有限结果支持查询在成为 SavedQuery、Dataset 或可视化输入前的发现过程。带编号标签页是持久工作区,支持重命名、自动保存和乐观版本处理,因此离开浏览器不会静默丢弃当前草稿。

文件保留其原始身份。

上传和安全 URL 导入首先创建具有 SHA-256 的不可变 Drive 版本。任何转换入队前,预检会解析内容、分隔符、引号、表头和架构。

在稳定别名处进行原子发布。

经验证的 CSV、分隔 UTF-8 文本、JSON 对象记录和 XLSX 第一张工作表内容会加载到新的物理表版本中。只有结果验证成功后,稳定别名才会更改。

Pipeline 如实呈现已经实现的执行能力。

公共目录提供 ExecuteQ、QueryTransfer、DirectStreamTransfer、SchemaTransfer、TransformSchema、DeleteSchema、NoSqlDelete、DataQualityRule 和 Master。每次分派都会创建持久化 PipelineRun;隐藏的旧定义不会仅因旧记录仍存在就变为受支持能力。

失败状态是结果的一部分。

已排队、运行中、失败、部分完成、已取消和已恢复的工作必须保持可区分。监控中断不能证明状态变更操作从未到达目标。Pipeline 目前没有通用取消、重试、回滚或严格一次执行契约,并且数据库最小权限角色仍是强制要求。

Source 暴露能力,而不是依赖假设。

Source 是项目范围内的连接身份。每个驱动程序都会解析当前环境中哪些元数据、预览、查询、传输、写入、删除或质量操作是安全的。

SQL Console 用于探索,而非数据库管理。

由服务器拥有的来源与项目上下文、只读策略和有限结果支持查询在成为 SavedQuery、Dataset 或可视化输入前的发现过程。带编号标签页是持久工作区,支持重命名、自动保存和乐观版本处理,因此离开浏览器不会静默丢弃当前草稿。

有效 Source 与 SQL 请求进入执行后,无论成功还是失败,服务执行都会保留为 QueryExecution。

SavedQuery 保留可编辑 SQL;提升为 Dataset 会创建独立的受治理数据资产和血缘引用。

来源方言的注释语法和安全只读处理通过共享执行边界统一规范,而不是依赖仅适用于 PostgreSQL 的包装器。

文件保留其原始身份。

上传和安全 URL 导入首先创建具有 SHA-256 的不可变 Drive 版本。任何转换入队前,预检会解析内容、分隔符、引号、表头和架构。

通过感知格式的检查识别 CSV、TXT、TSV、PSV、DSV、DAT、DATA、LOG、JSON 和 XLSX。

当有限内容分类验证为文本时,使用其他扩展名的文本文件也可采用分隔文本路径。

分隔符、控制字节、引号/转义、表头决策、预览行和警告保持可见,供用户确认。

文件名和稳定别名冲突会被明确解决并记录,而不会静默覆盖现有对象。

在稳定别名处进行原子发布。

经验证的 CSV、分隔 UTF-8 文本、JSON 对象记录和 XLSX 第一张工作表内容会加载到新的物理表版本中。只有结果验证成功后,稳定别名才会更改。

  1. 验证不可变输入

    加载前检查文件身份、大小、校验和、解析器决策和行结构。

  2. 创建影子表版本

    新的物理版本与当前可见的稳定别名隔离。

  3. 加载、分析并验证

    记录行列数、架构和有限样本;部分加载永远不会成为当前表。

  4. 提升或清理

    只有已验证结果会移动别名;失败时保留上一版本可用,并记录本次运行尝试。

System Sandbox Source 在当前 Project 架构下向 SQL Console 暴露托管别名。

重命名和恢复会创建可审计的生命周期变更;恢复操作可以有意重新暴露较早的架构契约。

Pipeline 如实呈现已经实现的执行能力。

公共目录提供 ExecuteQ、QueryTransfer、DirectStreamTransfer、SchemaTransfer、TransformSchema、DeleteSchema、NoSqlDelete、DataQualityRule 和 Master。每次分派都会创建持久化 PipelineRun;隐藏的旧定义不会仅因旧记录仍存在就变为受支持能力。

Master 支持有序任务、等待和质量关口,以及串行或并行批次。

继续执行会根据先前子项状态创建新运行,不会改写原始运行。

Job 定义可变,目前没有不可变 JobVersion。

系统会存储间隔/cron 调度意图,但目前没有活跃的调度分派器或可靠的下次运行计算。

失败状态是结果的一部分。

已排队、运行中、失败、部分完成、已取消和已恢复的工作必须保持可区分。监控中断不能证明状态变更操作从未到达目标。Pipeline 目前没有通用取消、重试、回滚或严格一次执行契约,并且数据库最小权限角色仍是强制要求。

下一步

从不容含糊的流程开始。

带上真正重要的系统、责任人、规则、交付义务和证据要求。

讨论关键流程