可视化模板涵盖空值、空字符串、唯一性、行数、值范围、模式、允许值和引用检查。明确定义通过条件后,自定义 SQL 可支持更复杂断言。
数据质量
让质量成为执行的一部分,而不是事后的文档。
Data Quality 将面向来源的预期转化为可重复 SQL 断言,具有明确通过条件、持久化 QualityRun 和有限失败证据。
预览测试当前解释。保存会创建或更改可变规则。立即运行或受支持 Pipeline 步骤会创建持久化 QualityRun,并在失败时创建有限发现。
独立 Data Quality 任务或 Master 控制步骤可以在失败时停止受支持的下游工作。准确 PipelineRun、QualityRun 和触发器仍是独立记录。
自定义 SQL 没有通用、独立的只读单语句解析器。SQL Console 规则对话框也要求操作者在编辑 SQL 后重新运行,因为先前结果不能证明当前草稿。Source 应使用最小权限的只读认证信息,失败样本应排除密钥和不必要的个人数据。
QualityRule 可变,且不直接固定到 DatasetVersion。套件执行、自动修复、完整发现整改和已确认通知交付不属于当前能力。托管 Sandbox 表通过其项目的 System Sandbox Source 参与,而不是使用独立隐藏的质量路径。
从明确预期开始。
可视化模板涵盖空值、空字符串、唯一性、行数、值范围、模式、允许值和引用检查。明确定义通过条件后,自定义 SQL 可支持更复杂断言。
空值与空字符串检查
唯一性与行数边界
数值或可比较值范围
SQL LIKE 模式与允许值检查
引用存在性检查
明确的自定义 SQL 断言
预览、保存与运行是不同操作。
预览测试当前解释。保存会创建或更改可变规则。立即运行或受支持 Pipeline 步骤会创建持久化 QualityRun,并在失败时创建有限发现。
预览同步执行且不持久化。
保存会更改可变 QualityRule 定义。
立即运行、Pipeline 和 Master 执行会持久化 QualityRun。
失败会持久化有限的 Data Quality 发现;它与 Assurance Finding 工作流相互独立。
质量可以控制已实现流程。
独立 Data Quality 任务或 Master 控制步骤可以在失败时停止受支持的下游工作。准确 PipelineRun、QualityRun 和触发器仍是独立记录。
最小权限仍至关重要。
自定义 SQL 没有通用、独立的只读单语句解析器。SQL Console 规则对话框也要求操作者在编辑 SQL 后重新运行,因为先前结果不能证明当前草稿。Source 应使用最小权限的只读认证信息,失败样本应排除密钥和不必要的个人数据。
当前边界不会被隐藏。
QualityRule 可变,且不直接固定到 DatasetVersion。套件执行、自动修复、完整发现整改和已确认通知交付不属于当前能力。托管 Sandbox 表通过其项目的 System Sandbox Source 参与,而不是使用独立隐藏的质量路径。
下一步
从不容含糊的流程开始。
带上真正重要的系统、责任人、规则、交付义务和证据要求。
讨论关键流程