ThinkingAI Logo
返回博客列表

数据治理测试用什么工具?数据校验方案对比

从数据质量测试与软件测试的区别出发,按执行位置比较代码型规则、云平台内置、商业治理套件和持续监测四类数据校验方案,说明各自能力、限制与适用团队,并给出组合选型和一张核心表的落地步骤。

2026-11-1715分钟
数据治理测试用什么工具?数据校验方案对比

数据治理测试可用 SQL 做明确规则校验,用 dbt 承接转换链路测试,也可按工程环境评估 Great Expectations、Soda、云平台内置质量模块或商业治理套件。选择要看数据规模、执行时点、团队技术能力及现有调度能否接入;工具运行规则之前,仍需统一数据质量的定义和判断标准,并明确异常通知、修复和复检责任。

在企业数据治理语境里,数据治理测试通常指对企业数据本身做质量校验,检查数据是否完整、唯一、准确、一致、及时,以及是否符合业务规则。它和软件测试的关注对象不同,软件测试验证代码、接口和系统行为,数据治理测试验证进入仓库、经过转换、进入报表或供 AI 使用的数据结果。

数据治理测试工具有哪些,常见答案集中在四类方案。下面按规则在哪里执行,逐类说明能力、限制和适用团队,再给出组合建议和最小落地步骤。

一、数据治理测试在测什么

数据治理测试的对象可以分三层。

第一层是字段和表,例如主键是否唯一、金额是否为空、状态值是否在枚举范围内。第二层是跨表关系,例如订单里的客户编号能否在客户表找到。第三层是指标和业务口径,例如同一个“活跃用户数”在报表、数仓和 AI Agent 里是否采用同一套定义。

前两层适合用规则校验,第三层还需要指标定义和知识治理配合。常见质量维度包括完整性、唯一性、准确性、一致性、及时性和有效性。不同企业的叫法略有差异,检查动作相近,先定义可接受状态,再用查询或规则验证,最后处理失败结果。

这里有一个容易被忽略的前提,规则能写出来,前提是“正确”已经被定义。例如“订单金额必须大于 0”依赖退款和冲正的处理口径,“用户必须唯一”依赖用户 ID 的生成规则。定义不清,规则越多,争议越多。

二、选工具前先回答四个问题

选工具前,先把下面四个问题写清楚。它们比厂商名单更能缩小范围。

  • 测哪一层。 字段和表可以用模板或断言,跨表关系要用引用完整性、聚合比对,指标层要结合指标平台和口径管理。
  • 在哪个时点测。 写入前、转换后、调度任务后、生产运行中,四个时点对应不同的拦截能力。时点越靠前,越容易阻止脏数据扩散;时点越靠后,越接近真实使用场景。
  • 谁维护规则。 数据工程、分析师、业务数据管家,不同角色能接受的规则写法不同。写代码的工具灵活,配置化工具更容易让业务参与。
  • 问题怎么闭环。 告警给谁、是否阻塞下游、是否生成工单、谁负责修复、如何复盘。没有闭环,规则只是一组报表。

如果这四个问题没有答案,先买一套大平台,容易出现规则配置了一堆、告警没人处理的情况。

先确认的问题选择倾向
只有工程团队,规则要版本化代码型规则框架
已在某个云平台,想快速接入调度平台内置质量模块
多系统、强治理,需要清洗和标准化商业治理套件
生产链路多,想发现未知异常持续监测工具

选型问题最终要落到数据链路的控制点上,这些控制点合起来构成一条数据质量防线。

三、四类数据校验方案对比

四类数据校验工具的差别,主要在规则怎么写、在哪执行、出了问题能做什么。

方案类别规则怎么写主要执行时点优势主要限制代表工具
代码型规则校验Python、SQL、YAML入仓、转换后、批任务灵活,可版本化,适合多源需要工程能力,闭环要自建Great Expectations、Soda Core、dbt data tests
云平台内置质量模块模板、配置、规则语言调度任务后、ETL 中与调度和元数据集成,落地快绑定云生态,复杂规则受限DataWorks、AWS Glue Data Quality、Microsoft Purview
商业治理套件图形化配置、预置规则批处理、治理流程体系完整,清洗和治理协同成本和实施周期较高Informatica Data Quality
持续监测自动基线、异常检测生产运行中发现未知异常,告警及时商业服务,需要工程接入Monte Carlo

分类按主要用法划分,实际产品会有交叉。例如云平台的质量模块也能按调度持续校验,监测工具也能配置规则。选型时看主要矛盾,不要被产品名称限制。

四、代码型规则校验适合哪些团队

代码型规则校验把“数据应该是什么样”写成断言,放进代码仓库或配置文件,随数据管道一起运行。它适合有数据工程能力、数据源较多、希望规则进入代码评审和 CI 的团队。

1. Great Expectations

Great Expectations 是开源的数据验证框架,用 Python 声明 Expectations,例如某列值必须在 1 到 6 之间。它支持 Pandas、Spark 和通过 SQLAlchemy 访问的数据库,能生成 Data Docs 报告,展示每次校验通过或失败的结果。官方文档明确说明它不负责管道调度、数据版本管理,也不存储数据本身,这些能力要由周边工具补上。

它的长处是表达灵活,规则可以进入 Git、代码评审和 CI,适合在入仓、转换后和批任务中做细粒度断言。需要留意的是,规则维护和问题闭环要自己搭,业务人员直接上手有门槛。

2. Soda Core 与 SodaCL

Soda Core 是开源 Python 库和命令行工具,用 SodaCL 这种 YAML 语言写检查。常见检查包括行数、重复值、缺失值、格式、及时性、跨表引用和字段结构变化,单次扫描返回 pass、fail 或 error,也可以配置 warn。官方文档列出 25 个以上内置指标和检查,Soda Core 支持 18 个以上数据源。更复杂的检查和云端协作由 Soda Library 与 Soda Cloud 承接。

它更适合让分析师和业务数据管家参与,YAML 比 Python 更接近配置,也方便 Airflow 等编排工具调用。不足是开源层覆盖基础检查和配置,复杂检查、协作和托管需要商业层,告警之后的根因定位和修复仍要结合其他工具。

3. dbt data tests

dbt 的 data tests 是对模型、源表、种子和快照的断言。内置四个通用测试,unique、not_null、accepted_values、relationships,分别检查唯一、非空、枚举和引用完整性。也可以写 singular test,用一段返回失败行的 SQL 表达更复杂的规则。运行 dbt test 时,测试通过的条件是查询返回零行失败记录。

好处是测试和转换代码在同一个项目、同一个版本库、同一条 CI 流程里,改模型时就能发现回归,失败行可以直接保存下来排查。边界是覆盖范围主要在 dbt 管理的模型和源,跨系统和生产运行中的异常监测较弱,复杂规则仍要写 SQL。

五、云平台内置质量模块适合谁

云平台内置质量模块把规则、调度、元数据和告警放在同一个控制台里,减少工具拼接。代价是能力边界跟平台绑定。

1. 阿里云 DataWorks 数据质量

DataWorks 数据质量用规则模板、监控规则和质量监控三层组织校验。质量监控可以关联调度任务,任务成功后自动触发规则。规则分为强规则和弱规则,强规则失败可以阻塞下游,弱规则只告警。官方文档列出完整性、准确性、一致性等维度,支持 MaxCompute、Hologres、E-MapReduce、AnalyticDB 等数据源,告警可走邮件、短信、钉钉、企业微信、飞书、电话和 Webhook,自定义 Webhook 需要企业版及以上。

计费由规则实例运行次数和底层计算引擎费用组成,规则校验会生成 SQL 并下发到计算引擎执行。对 E-MapReduce、Hologres、AnalyticDB 等非 MaxCompute 数据源配置规则前,通常要先完成元数据采集;校验非 MaxCompute 数据源时,还需要配置网络连通。

落地快的地方在于,它和开发、调度、运维在同一个平台,拦截下游的动作明确。代价是绑定阿里云生态,数据源支持有范围,复杂规则仍要自定义 SQL。

2. AWS Glue Data Quality

AWS Glue Data Quality 用数据质量定义语言 DQDL 定义规则集,规则类型覆盖完整性、唯一性、及时性、行数、列值范围、主键、引用完整性、自定义 SQL 等。规则集可以组合 and、or 等逻辑,分析器可以先收集统计量,再逐步沉淀规则。官方文档说明动态规则只在 Glue ETL 中支持。

强项是规则语言表达力强,和 Glue 数据目录、ETL 作业在同一体系内,适合数据湖场景。限制是主要服务 AWS Glue 生态,团队要熟悉 DQDL,跨云、多引擎的统一治理要另找方案。

3. Microsoft Purview 数据质量

Microsoft Purview 在统一目录的健康管理里提供数据质量规则。内置规则包括新鲜度、唯一值、字符串格式匹配、数据类型匹配、重复行、空值或空字段、表查找和自定义规则,主打低代码或无代码配置。规则需要数据质量管家角色来创建和管理,查看结果需要数据质量读者角色,每条规则有历史表现。

官方文档也写明了边界,新鲜度规则不支持 Snowflake、Azure Databricks Unity Catalog、Google BigQuery、Synapse 和 Azure SQL,表查找只能在同一治理域内比较,自定义规则主要做行内多字段校验。

好处是质量规则和目录、治理域、数据产品放在一起,业务数据管家可以参与,适合微软生态。边界是规则类型和数据源覆盖有明确限制,复杂跨表逻辑要评估是否可以表达。

六、商业治理套件能解决什么

Informatica Data Quality 是商业数据质量套件,能力覆盖数据剖析、标准化、验证、丰富和去重,提供预置业务规则和加速器,并强调与数据治理、目录、主数据和集成产品协同。它适合跨系统、多域的数据质量项目。

适合大型企业的原因在于体系完整,规则、清洗和治理流程可以在同一套体系里衔接。需要评估的是商业许可和实施成本较高,上线周期长,需要专职团队。对只想先管好几张核心表的团队,启动负担偏重。

如果企业规模较小,或者治理体系还没起步,云平台内置模块或开源框架通常更容易先跑出结果。关于平台功能边界,可以参考数据治理平台有哪些功能。

七、持续监测能发现哪些问题

规则校验擅长检查已知约束,持续监测擅长发现没有预先写规则的异常。Monte Carlo 官方把它定位为数据与 AI 的可观测性平台,持续监测数据管道和 AI Agent 资产,自动发现问题、辅助定位原因并给出修复建议。官网称有 400 多家企业客户。

价值在于自动化程度高,能覆盖大量表和运行中的管道,适合数据规模大、生产链路多的团队。对 AI 和 Agent 场景,还会关注数据上下文和输出异常。需要评估的是商业服务的数据出域和合规要求,监测工具告诉你哪里可能有问题,修复和规则校验仍要保留。

八、不同团队怎么组合

多数企业不会只选一类。更常见的组合是,在转换环节用 dbt data tests 或代码型断言,在调度后用平台内置质量模块,在生产运行中用持续监测,在治理层用商业套件或统一规则目录。

团队情况优先方案补充先用什么验证
没有专职数据工程,已在阿里云、AWS 或 Azure平台内置质量模块关键表加自定义 SQL两周内能否发现一个已知问题
已有 dbt,数据源以数仓为主dbt data tests跨系统加 Great Expectations 或 Soda改模型时能否在 CI 拦住回归
有数据工程团队,多源、跨云Great Expectations 或 Soda Core生产监测用 Monte Carlo规则能否复用,告警能否落到人
大型企业,强治理、多系统Informatica 等治理套件持续监测补未知异常规则目录、责任人、闭环是否齐全
预算有限,只有几张核心表云平台内置或开源手工 SQL 做基线5 到 10 条规则能否稳定运行

组合的原则是分层,已知约束用规则,未知异常用监测,定义和责任用治理。三层都压在一个工具上,通常会有一层做不深。

九、从一张核心表开始落地

落地时先选一张影响决策的核心表,例如订单、收入、库存或用户表。不要从全公司数据地图开始。

  • 选表。 这张表出错会影响收入、报表或客户体验,并且有明确的负责人。
  • 写规则。 从过去三个月真实发生的问题反推,先写 5 到 10 条,覆盖非空、唯一、枚举、跨表引用、行数波动和及时性。
  • 定时点。 转换后或调度后执行,强规则阻塞下游,弱规则只告警,避免所有规则都阻断。
  • 定责任。 每条规则有负责人,告警有处理人,失败有升级路径。
  • 看基线。 连续观察 2 到 4 周,记录误报率、发现时长和修复时长,误报高的规则要调整阈值或删除。
  • 再扩展。 先把同一数据域的表复制过去,再考虑跨域推广。

验收看三件事,已知问题能否被规则发现,告警是否有人处理,问题关闭时间是否下降。规则数量本身说明不了治理效果。评估方法可以参考数据质量评估怎么做。

十、规则之外,口径和知识也要可追溯

规则能判断数据是否符合预期,预期本身来自指标定义、业务规则和知识。一个常见场景是,报表、数仓和 AI Agent 里的同一个指标各有各的口径,单看每条规则都通过,业务结果却对不上。

这类问题要靠定义层治理。ThinkingAI 企业级知识库用 SSOT 保证同一概念在全系统只有一处定义,每次更新通过 ChangeSet 机制记录,支持追溯、对比和回滚。它面向 Agent 提供结构化、可溯源的知识,与数据质量工具形成配合。ThinkingAI 已服务全球超 1500 家企业,接入产品超 8000 款,适合已经有数据平台、正在把数据用于分析和 Agent 的企业。

选择工具时可以把这一层单独评估,数据测试工具解决值对不对,指标和知识治理解决大家说的是不是同一件事。关于元数据、血缘和质量的关系,可以进一步阅读元数据、数据血缘和数据质量是什么关系。

常见问题

数据治理测试和软件测试有什么区别

数据治理测试对数据结果做断言,检查完整性、唯一性、一致性、及时性等。软件测试检查代码逻辑、接口、性能和界面。两者可以共用 CI 和告警,但测试对象不同。数据测试失败通常意味着上游数据或加工逻辑有问题,需要沿血缘和调度链路排查。

开源数据质量工具能替代商业平台吗

取决于团队要承担多少工作。开源工具能覆盖规则定义、执行和报告,托管、协作、跨源治理、支持服务和审计要自己补。有工程团队、愿意自建闭环时,开源是合理起点。需要业务参与、统一治理和厂商支持时,商业平台更省事。

数据质量工具需要支持所有数据源吗

不必。先覆盖承载核心业务的数据源,再评估长尾源。某个源不支持时,可以用抽取后校验、自定义 SQL 或换工具。为了一个边缘源选一套不匹配的主平台,通常不划算。

规则是不是越多越好

规则多会带来告警疲劳和维护成本。按影响分级,强规则少而关键,弱规则做辅助,定期清理长期误报或无人处理的规则。

数据可观测性能替代规则校验吗

不能完全替代。监测擅长发现未知异常和分布漂移,规则擅长表达明确的业务约束。两者一起用,既能守住已知底线,也能发现没预料到的问题。

小团队应该先买平台还是先用开源

已经在某个云平台上,先用内置质量模块更省集成。没有平台、也没有工程人力,选低代码商业方案。有数据工程师、想保留灵活性,从开源框架起步。先跑通一张核心表,再决定是否扩大投入。

怎么判断数据校验方案是否有效

看四件事,能否发现已经知道的问题,误报是否可控,告警是否有人处理,问题关闭时间是否下降。再加一条,规则能否被复用和审查,避免只留在个人手里。

参考资料

  • Great Expectations,About Great Expectations OSS:https://docs.greatexpectations.io/docs/0.18/core/introduction/introduction/
  • Soda,Soda Core 概览:https://docs.soda.io/soda-core/overview-main.html
  • Soda,SodaCL 教程:https://docs.soda.io/soda-documentation/soda-v3/soda-cl-overview/quick-start-sodacl
  • dbt,Add data tests to your DAG:https://docs.getdbt.com/docs/build/data-tests
  • AWS,Data Quality Definition Language 参考:https://docs.aws.amazon.com/glue/latest/dg/dqdl.html
  • Microsoft Learn,Create data quality rules:https://learn.microsoft.com/en-us/purview/unified-catalog-data-quality-rules
  • Informatica,Informatica Data Quality:https://www.informatica.com/de/products/data-quality/informatica-data-quality.html
  • Monte Carlo:https://montecarlo.ai/

产品能力与限制以各厂商当前文档为准。

准备好构建你的 Agent 团队了吗

立即体验 Agentic Engine, 让 AI 成为真正的团队成员

ThinkingAI Big Logo
电话咨询