数据操作

把分散来源的数据变成可重复执行的工作。

探索已连接的数据库,准备文件和表,并安排受支持的传输与质量检查。再次执行工作时,将定义、运行状态和记录结果保留在一起。

探索已连接的数据库,准备文件和表,并安排受支持的传输与质量检查。再次执行工作时,将定义、运行状态和记录结果保留在一起。
Source 暴露能力,而不是依赖假设。

Source 是项目范围内的连接身份。每个驱动程序都会解析当前环境中哪些元数据、预览、查询、传输、写入、删除或质量操作是安全的。

SQL Console 用于探索,而非数据库管理。

由服务器拥有的来源与项目上下文、只读策略和有限结果支持查询在成为 SavedQuery、Dataset 或可视化输入前的发现过程。带编号标签页是持久工作区,支持重命名、自动保存和乐观版本处理,因此离开浏览器不会静默丢弃当前草稿。

文件保留其原始身份。

上传和安全 URL 导入首先创建具有 SHA-256 的不可变 Drive 版本。任何转换入队前,预检会解析内容、分隔符、引号、表头和架构。

新表通过验证后,才替换当前可用版本。

经验证的 CSV、带分隔符的 UTF-8 文本、JSON 记录及 XLSX 第一个工作表先载入新的表版本。只有结果验证成功后,固定的访问名称才指向新版本。

把传输、处理和检查组合成可重复使用的流程。

目录支持 SQL 执行、基于查询的传输和直接流传输、模式传输与转换及删除、NoSQL 删除、质量检查,以及 Master 组合任务。每次启动都会保存执行记录。历史中仍有旧定义,并不意味着该操作当前仍受支持。

失败状态是结果的一部分。

已排队、运行中、失败、部分完成、已取消和已恢复的工作必须保持可区分。监控中断不能证明状态变更操作从未到达目标。Pipeline 目前没有通用取消、重试、回滚或严格一次执行契约,并且数据库最小权限角色仍是强制要求。

Source 暴露能力,而不是依赖假设。

Source 是项目范围内的连接身份。每个驱动程序都会解析当前环境中哪些元数据、预览、查询、传输、写入、删除或质量操作是安全的。

SQL Console 用于探索,而非数据库管理。

由服务器拥有的来源与项目上下文、只读策略和有限结果支持查询在成为 SavedQuery、Dataset 或可视化输入前的发现过程。带编号标签页是持久工作区,支持重命名、自动保存和乐观版本处理,因此离开浏览器不会静默丢弃当前草稿。

有效 Source 与 SQL 请求进入执行后,无论成功还是失败,服务执行都会保留为 QueryExecution。

SavedQuery 保留可编辑 SQL;提升为 Dataset 会创建独立的受治理数据资产和血缘引用。

来源方言的注释语法和安全只读处理通过共享执行边界统一规范,而不是依赖仅适用于 PostgreSQL 的包装器。

文件保留其原始身份。

上传和安全 URL 导入首先创建具有 SHA-256 的不可变 Drive 版本。任何转换入队前,预检会解析内容、分隔符、引号、表头和架构。

通过感知格式的检查识别 CSV、TXT、TSV、PSV、DSV、DAT、DATA、LOG、JSON 和 XLSX。

当有限内容分类验证为文本时,使用其他扩展名的文本文件也可采用分隔文本路径。

分隔符、控制字节、引号/转义、表头决策、预览行和警告保持可见,供用户确认。

文件名和稳定别名冲突会被明确解决并记录,而不会静默覆盖现有对象。

新表通过验证后,才替换当前可用版本。

经验证的 CSV、带分隔符的 UTF-8 文本、JSON 记录及 XLSX 第一个工作表先载入新的表版本。只有结果验证成功后,固定的访问名称才指向新版本。

  1. 验证不可变输入

    加载前检查文件身份、大小、校验和、解析器决策和行结构。

  2. 创建影子表版本

    新的物理版本与当前可见的稳定别名隔离。

  3. 加载、分析并验证

    记录行列数、架构和有限样本;部分加载永远不会成为当前表。

  4. 提升或清理

    只有已验证结果会移动别名;失败时保留上一版本可用,并记录本次运行尝试。

System Sandbox Source 在当前 Project 架构下向 SQL Console 暴露托管别名。

重命名和恢复会创建可审计的生命周期变更;恢复操作可以有意重新暴露较早的架构契约。

把传输、处理和检查组合成可重复使用的流程。

目录支持 SQL 执行、基于查询的传输和直接流传输、模式传输与转换及删除、NoSQL 删除、质量检查,以及 Master 组合任务。每次启动都会保存执行记录。历史中仍有旧定义,并不意味着该操作当前仍受支持。

Master 支持有序任务、等待和质量关口,以及串行或并行批次。

继续执行会根据先前子项状态创建新运行,不会改写原始运行。

修改定义会创建固定的任务版本。手动启动、计划执行、重试和子任务都会在分派执行之前记录所选版本。

每次未来的计划执行都会重新检查访问权限,然后选择当前版本。防止重复影响和撤销变更仍取决于操作、连接器、策略,以及经过验证的重试安全性。

失败状态是结果的一部分。

已排队、运行中、失败、部分完成、已取消和已恢复的工作必须保持可区分。监控中断不能证明状态变更操作从未到达目标。Pipeline 目前没有通用取消、重试、回滚或严格一次执行契约,并且数据库最小权限角色仍是强制要求。

下一步

从不容含糊的流程开始。

带上真正重要的系统、责任人、规则、交付义务和证据要求。

讨论关键流程

简明解答

advanexus的这部分有什么作用?

探索已连接的数据库,准备文件和表,并安排受支持的传输与质量检查。再次执行工作时,将定义、运行状态和记录结果保留在一起。

使用前应检查什么?

未来一次计划触发会在重新执行准入检查后,固定当时最新的 JobVersion;业务效果的严格一次 语义与回滚仍取决于执行器、连接器、策略以及经证实的幂等性。