数据质量规则库,是把什么样的数据算合格写成可复用、可执行、可管理的规则集合。它要回答一个很具体的问题:这批数据能不能用于分析、结算、上报或对外服务。
规则库通常被放在 数据质量管理 体系里,和数据标准、质量监控、问题闭环一起使用。它既包含检查逻辑,也包含规则适用对象、阈值、问题等级、责任人和版本状态。把这些信息集中管理,团队才能在不同表、不同系统和不同批次里按同一套标准判断数据是否合格。
一、数据质量规则库到底是什么?
理解数据质量规则库定义,可以把三个词分开看:规则、库、资产。
规则是可执行的判断条件。它要说明检查什么对象、按什么逻辑判断、达到什么阈值算合格。比如订单表的 order_id 不能为空且不能重复,支付金额要与支付流水一致,订单分区要在每天 8 点前产出,用户画像标签的枚举值必须在已登记的值域内。这几条规则覆盖了完整性、唯一性、一致性、及时性和有效性。
库意味着集中管理。规则散落在各个团队的 SQL 脚本、报表备注和聊天记录里,换一个人就找不到,改一个口径要问一圈人。规则库把这些检查集中存放,统一命名、分类、授权和版本管理,让规则可以被检索、复用和审计。
资产意味着它有生命周期。一条规则从需求提出、评审、上线、执行、告警、修复到下线,都有记录。规则需要持续维护,写完只是开始。它会跟着数据对象、业务口径和组织分工一起变化。
国家标准可以作为分类起点。GB/T 36344-2018《信息技术 数据质量评价指标》给出六个一级指标,分别是规范性、完整性、准确性、一致性、时效性和可访问性。中国软件评测中心在公开解读中把这六项解释为:数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度;数据元素被赋予数值的程度;数据准确表示其所描述的真实实体真实值的程度;数据与其他特定上下文中使用的数据无矛盾的程度;数据在时间变化中的正确程度;数据能被访问的程度。
这套框架适合做规则分类的公共语言,具体到每家企业,还要补充唯一性、有效性、关联性等更贴近业务的维度。百度智能云 EDAP 的规则管理文档就把规则维度列为完整性、唯一性、有效性、准确性、一致性和及时性,并把规则粒度分为表级、字段级和跨字段级。分类方式可以不同,关键是团队内部使用同一套口径。
规则库的价值不靠数量堆出来。一个只有 30 条规则、但每条都有人负责、有执行记录、有问题闭环的库,通常比 500 条没人看的规则更有用。
二、一个规则库里通常有什么?
把规则库拆开看,通常有三层。
1. 模板层:沉淀可复用的检查方式
模板层回答这类检查通常怎么做。常见模板包括字段空值检查、主键唯一性检查、正则格式检查、值域检查、表行数波动检查、跨表金额对账。华为云 DataArts Studio 的文档提到系统内置 34 种模板规则,按库级、表级、字段级、跨字段级和跨源级组织;百度智能云 EDAP 则把规则粒度分为表级、字段级和跨字段级。不同产品的分层方式不完全一样,共同点是先把检查方式沉淀成模板,再绑定具体对象。
模板解决的是复用。没有模板,每遇到一张新表就要重新写一遍 SQL,规则质量取决于写脚本的人。有了模板,团队可以从已有检查方式出发,只补充对象、阈值和执行条件。
2. 实例层:把规则落到具体表和字段
实例层回答这张表、这个字段具体怎么查。模板只是句型,实例才包含具体对象、阈值、时间窗、执行频率和责任人。比如模板是字段空值检查,实例可以写成:订单表 user_id 字段的空值率不得超过 0.5%,每天 7 点检查最近一天分区,问题等级为高,责任人是订单数据负责人。
一条可管理的规则,至少要记录这些信息。
| 字段 | 作用 | 示例 |
|---|---|---|
| 规则编号 | 唯一标识,便于引用和审计 | DQ-ORDER-001 |
| 规则名称 | 让人看懂检查什么 | 订单主键唯一性 |
| 业务含义 | 说明为什么需要这条规则 | 防止重复订单影响结算 |
| 质量维度 | 归入统一分类 | 唯一性 |
| 适用对象 | 绑定表、字段、分区或跨表关系 | dwd_order |
| 规则粒度 | 表级、字段级、跨字段级或跨表级 | 字段级 |
| 校验逻辑 | SQL、正则、值域、比对或统计方法 | 主键重复计数 |
| 阈值 | 判断合格与否的边界 | 重复率等于 0 |
| 问题等级 | 决定告警方式和处理时限 | 高 |
| 责任人 | 谁确认问题、谁推动修复 | 订单数据负责人 |
| 执行频率 | 实时、小时、日、周或月 | 每日 |
| 版本与状态 | 规则变更留痕,控制启用和停用 | v1.2,启用 |
这张表看起来繁琐,实际作用很直接。规则名称让人知道查什么,业务含义让人知道为什么查,责任人让人知道出了问题找谁,版本记录让人知道规则什么时候改过。缺少其中任何一项,规则库都容易退化成一份没人维护的 SQL 清单。
3. 执行层:让规则产生结果
执行层负责调度、计算、告警和留痕。规则定义得再清楚,如果不绑定数据范围、不按频率执行、不记录结果,它就只是一份文档。执行层通常要保留每次检查的时间、数据范围、通过率、问题数据量、告警对象和处理状态,方便后续复盘。
三层的关系可以概括为:模板层解决复用,实例层解决落地,执行层解决闭环。三层的边界清楚,规则库才能既被人看懂,也被系统执行。
三、规则库、规则模板、数据标准、指标库有什么区别?
这几个概念经常一起出现,职责并不相同。
| 概念 | 回答的问题 | 典型内容 | 与规则库的关系 |
|---|---|---|---|
| 数据标准 | 数据应该长什么样 | 命名、类型、长度、值域、编码、口径 | 规则库把标准转成可执行的检查 |
| 规则模板 | 这类检查通常怎么做 | 空值、唯一性、正则、值域、波动率 | 模板是规则库的复用层 |
| 规则实例 | 这张表具体怎么查 | 对象、阈值、频率、责任人 | 实例是规则库的运行单元 |
| 指标库 | 业务表现怎么样 | 订单量、付费率、留存率、GMV | 指标依赖可信数据,规则库保障输入 |
| 质量平台 | 在哪里执行和展示 | 调度、报告、告警、工单 | 平台是规则库的承载工具 |
数据标准回答应该是什么,规则库回答怎么检查是否符合。指标库回答业务发生了什么,规则库回答这些数字能不能信。质量平台提供执行和展示能力,规则库提供检查内容。几个概念可以互相引用,职责不能互相替代。
一个常见的情况是,团队买了一套质量平台,导入几十条内置模板,却发现业务部门不认。原因通常不在工具,而在规则库缺少业务含义、责任人和处理流程。平台能跑出通过率,不能替业务判断这个通过率是否合理。
如果想看完整性、准确性和一致性怎么计算,可以参考 完整性、准确性与一致性的检查方法。
四、一条规则从进入规则库到关闭问题,经历什么?
规则库的价值在闭环,不在规则数量。一条规则从上线到下线都有记录,团队才能判断它是否真的在保护数据。完整过程通常包括八步。
- 收集需求。从业务痛点、监管要求、历史故障、指标异常和用户投诉中提炼检查需求。不要从工具的内置模板反推业务需要什么。
- 梳理对象。确认数据表、字段、主键、分区、时间窗和权威源。先明确以哪个系统的数据为准,再谈阈值。
- 定义规则。写清业务含义、校验逻辑、阈值、问题等级、责任人和执行频率。
- 评审发布。业务确认规则是否符合实际,数据团队确认口径和对象,开发确认可执行性和性能。三方都确认后再上线。
- 绑定执行。配置调度、数据范围、告警渠道和升级路径。高等级问题要有明确的处理时限。
- 处理问题。定位问题数据,判断是采集、传输、加工还是业务录入导致,派单修复,复跑验证。
- 复盘优化。看规则的命中率、误报率、修复时长和覆盖范围。长期不命中的规则要检查是否失效,频繁误报的规则要调整阈值或逻辑。
- 版本管理。规则变更要留痕,说明变更原因、影响范围和生效时间。已经下线的规则不要直接删除,保留历史记录便于追溯。
如果问题已经发生,需要从指标异常追到数据链路,可以参考 数据质量问题排查。排查清楚原因,再回头补规则,比在规则库里堆更多检查更有效。
以“订单号不能为空”为例,规则可以先以模板入库,再绑定到明确的订单表、分区和执行时间;上线后保存每次结果及问题记录。如果业务改为允许草稿订单暂不生成订单号,应修改适用范围并保留新旧版本,而不是把原规则静默覆盖。旧链路下线时,将规则停用并保留原因和历史执行记录。这个例子说明的是规则的管理过程,实际对象与阈值仍由业务确认。
五、企业刚开始建规则库,先做什么?
规则库适合放进 企业级数据治理体系 一起规划。起步阶段可以按下面的顺序推进。
- 选关键数据域。先做订单、支付、用户、埋点等会影响收入、结算、合规和核心报表的数据,不要一开始全量铺开。
- 找关键字段。优先覆盖主键、金额、时间、状态、渠道和用户标识。这些字段出错,会连带影响多个指标。
- 先定元数据模板。规则名称、业务含义、维度、对象、阈值、等级、责任人、频率和版本先定好,后面新增规则才不会各写各的。
- 阈值按后果分级。结算和合规字段从严,分析字段可以放宽。阈值要有业务确认记录,不能照抄同行。
- 明确责任人。每条规则都要有业务负责人和数据负责人。只有技术团队负责的规则,通常很难推动业务修复。
- 先用轻量方式跑起来。可以从现有平台、调度任务或表格开始,先验证规则有没有用,再考虑平台化。先把规则内容和责任分工定清楚,再考虑工具。
- 设检查节奏。前 30 天看覆盖和可执行性,60 天看命中率和误报率,90 天看问题关闭时长和复用情况。
起步阶段最常见的误区有五个。
| 常见做法 | 可能出现的问题 | 更稳妥的做法 |
|---|---|---|
| 一次性导入几百条模板 | 大量规则无人维护,告警疲劳 | 先覆盖关键字段,按季度扩展 |
| 只写 SQL,不写业务含义 | 换人后不知道规则为什么存在 | 每条规则补业务含义和责任人 |
| 所有字段用同一阈值 | 核心字段漏报,边缘字段误报 | 按业务后果分级设阈值 |
| 规则上线后不看结果 | 失效规则长期占用资源 | 定期评估命中率、误报率和关闭时长 |
| 把规则库当项目文档 | 数据和业务变化后规则过期 | 把规则库当运营资产,持续维护 |
规则库投入使用后,维护工作可以围绕三种变化开展:数据结构变了,检查规则是否仍能执行;业务口径变了,阈值和适用对象是否需要调整;责任人变了,异常是否仍有人接收。修改规则时保留旧版、生效时间和验证记录,才能解释前后检查结果为什么不同。
六、规则库和 AI 分析、Agent 有什么关系?
AI 分析和 Agent 的输出,很大程度上取决于输入数据是否可信。规则库提供的是一层可解释的判断依据:哪些字段必须完整,哪些指标必须对得上,哪些异常需要先确认数据再解释业务。
规则元数据还可以成为 Agent 的上下文。规则名称、业务含义、阈值、责任人和历史问题记录,能帮助 Agent 在发现异常时说明影响范围、给出排查方向,避免只报一个通过率。规则执行结果和指标异常结合,团队可以更快判断是数据问题还是业务变化。
在采集端,数据采集 Agent 可以根据业务问题生成埋点方案,落成代码埋点,再做 debug 验证,让事件、参数和上报时机在开发阶段对齐。SDK 支持按业务配置采集范围,对敏感字段做脱敏,出现采集异常时可以降级。这类前置校验有助于减少下游规则的压力,但它覆盖的是用户行为与埋点场景,不能替代所有数据源的质量检查。
如果企业已经把规则执行结果接入分析平台,ThinkingAI 的数据分析能力和 Agentic Engine 可以把异常、解释和后续动作串起来。规则库仍然要由企业自己定义业务标准和阈值,Agent 负责执行、解释和协同,不能替业务判断某个异常是否可以接受。ThinkingAI 已服务全球超 1500 家企业,接入产品超 8000 款,这类数据基础能力来自长期的企业数据服务实践。
常见问题
1. 数据质量规则库一定要买平台才能建吗?
不一定。规则库的核心是规则定义和管理机制,早期可以用表格、文档加现有调度任务跑起来。规则数量增加、执行频率变高、需要权限和审计时,再引入平台更合适。工具解决执行效率,规则内容和责任分工仍然要企业自己定。
2. 规则越多越好吗?
规则数量多,带来的执行成本和告警噪声也会增加。有效的规则库看的是关键数据有没有被覆盖、问题能不能被发现和关闭。长期不命中、频繁误报、没人负责的规则,应该调整或下线。
3. 规则库和指标库可以共用一套吗?
两者可以关联,职责不同。指标库管理业务指标的定义、口径和计算逻辑,规则库管理数据质量的检查条件。指标可以引用规则结果来判断数据是否可用,但不要把质量规则直接当成业务指标。
4. 小团队没有专职数据治理人员,怎么开始?
先选一个最关键的数据域,找一位业务负责人和一位数据负责人,用表格维护 10 到 20 条规则,绑定现有调度任务,按周看结果。重点是把责任、阈值和修复流程跑通,再逐步扩展。没有专职人员时,规则数量要克制,优先覆盖会影响钱和合规的字段。
5. 规则库能自动发现所有数据问题吗?
不能。规则库只能发现已经被定义和覆盖的问题。新出现的业务变化、口径调整、上游系统改造,都可能产生规则没有覆盖的异常。规则库需要和指标监控、人工复核、问题反馈一起使用,定期补充新规则。
6. 规则库如何与 AI Agent 配合?
规则库提供判断依据,Agent 负责执行、解释和协同。Agent 可以读取规则元数据、执行检查、汇总问题、生成排查建议,再把需要人工确认的事项交给责任人。企业仍要定义哪些异常可以自动处理,哪些必须人工复核,并保留审计记录。
参考资料
- GB/T 36344-2018《信息技术 数据质量评价指标》
- 中国软件评测中心,《助力夯实数据底座,强化数据质量测评》,2022 年,https://cstc.org.cn/info/1081/245525.htm
- 百度智能云,《规则管理》,https://cloud.baidu.com/doc/EDAP/s/9lzmci2yg
- 华为云,《新建数据质量规则》,https://support.huaweicloud.com/intl/zh-cn/usermanual-dataartsstudio/dataartsstudio_01_0715.html
- ThinkingAI,《如何衡量数据质量?完整性、准确性与一致性的检查方法》,https://www.thinkingai.cn/blog/data-quality-completeness-accuracy-consistency






