数据质量规则是对数据应满足条件的一条明确约定。 它把数据要准确这类要求,落成可以检查、可以判定通过或失败的判断。例如,订单号在订单表中必须唯一;支付订单的实付金额与支付流水按订单号汇总后,差异率不高于 0.1%;注册事件的用户标识、注册时间和渠道字段非空率不低于 99.5%。有了这样的条件,团队才能知道哪批数据不合格、谁来处理、处理后是否真的恢复。
数据质量规则通常放在数据质量管理流程里使用。它负责定义合格线,监控负责发现越线,工单负责修复,复盘负责判断规则本身是否合理。只写规则不做检查和闭环,规则会停留在文档里。
一、一条数据质量规则包含什么
规则可以很短,也可以很复杂。要让另一个人按同样口径复现,至少要写清五件事。
- 检查对象:表、字段、事件、指标或跨表关系。
- 判断条件:什么情况算通过,什么情况算失败。
- 阈值与容差:允许多少比例或多大范围的偏差。
- 检查范围与频率:按哪个时间窗、分区或样本检查,多久跑一次。
- 责任人与处置:失败后通知谁、多久响应、如何复核关闭。
| 规则 | 判断条件 | 阈值 | 主要对应维度 |
|---|---|---|---|
| 订单号唯一 | 订单表中 order_id 不重复 | 重复记录为 0 | 唯一性 |
| 支付金额一致 | 订单实付金额与支付流水按订单号汇总后比对 | 差异率不高于 0.1% | 准确性、一致性 |
| 注册事件完整 | user_id、register_time、channel 均非空 | 空值率不高于 0.5% | 完整性 |
规则和指标经常一起出现,但作用不同。指标给出一个数值,规则给出合格线。支付金额差异率 0.08% 是指标结果,差异率不高于 0.1% 才是规则。只报指标不写规则,读者无法判断这个数算好还是不好。
二、数据质量规则、维度、指标有什么区别
这三个词容易混在一起。维度回答看哪个方面,指标回答现在是多少,规则回答什么算合格。
| 概念 | 回答的问题 | 例子 |
|---|---|---|
| 数据质量维度 | 从哪个方面评价数据 | 完整性、准确性、一致性、时效性 |
| 数据质量指标 | 这个方面现在是多少 | 订单必填字段空值率 0.8% |
| 数据质量规则 | 什么情况下算合格 | 空值率不高于 0.5% |
| 数据质量检查 | 这次检查是否通过 | 按日运行规则,输出通过或失败 |
国家标准 GB/T 36344-2018《信息技术 数据质量评价指标》给出六个一级指标,分别是规范性、完整性、准确性、一致性、时效性和可访问性。它提供的是评价框架,具体规则仍要结合业务后果来写。团队需要为每个维度确定检查对象、条件和阈值,不能停在维度名称上。唯一性没有作为国标六维的一级指标,但在订单、支付、埋点事件里经常单列,因为主键重复会让行数和分母同时失真。
这些指标怎么算、分母怎么取,可以看如何衡量数据质量?完整性、准确性与一致性的检查方法。那篇文章把完整性、准确性和一致性的检查卡、抽样和阈值讲得更细。
维度、指标和规则要一起用。维度防止团队只看一个数,指标让趋势可比较,规则让异常可触发。只有维度没有规则,评估会停在打分;只有规则没有维度,规则容易零散,难以判断覆盖是否均衡。
三、常见的数据质量规则有哪些
按检查范围分,常见规则可以分成五类。先覆盖关键对象,再扩展规则类型。
1. 单字段规则
单字段规则只检查一个字段,适合放在采集入口和入仓校验。常见条件包括非空、数据类型、格式、枚举、值域、长度和唯一。手机号必须是 11 位数字,订单状态必须在允许的枚举内,支付金额必须大于 0,都属于这一类。
这类规则成本低,容易全量运行,适合先跑起来。局限也明显,字段有值、格式正确,不代表值真实。一个渠道字段 100% 有值,也可能全部填成未知。
2. 跨字段规则
跨字段规则检查同一行记录里多个字段的关系。订单金额等于单价乘数量,结束时间不早于开始时间,已支付订单必须有支付时间,都是典型例子。
这类规则依赖清晰的业务逻辑。字段关系没有定义清楚时,先补口径,不要急着写规则。否则规则会把正常业务判成异常。
3. 跨记录与跨表规则
跨记录规则检查多条记录之间的关系,常见的有主键唯一、业务键唯一、重复行和参照完整性。跨表规则还要比对两张表,例如订单表的 user_id 必须能在用户表找到,订单金额与支付流水按订单号汇总后必须一致。
这类规则适合多系统、多表关联的场景。写之前要先定权威源、对账键、时间窗和币种。权威源不定,两个数不一致时很难判断哪边错了。
4. 时间与数量规则
时间规则检查数据是否按时到达,例如 T+1 数据必须在次日 8 点前产出,24 个小时分区不能缺段。数量规则检查记录数、金额或事件量是否在合理范围,例如日订单量较过去 7 日均值波动不超过 20%。
这类规则擅长发现链路中断、漏采、重复上报和任务延迟。阈值要结合业务周期设置,促销、节假日和版本发布都会带来正常波动。
5. 自定义业务规则
结算、风控、监管报送等场景,条件往往更复杂,需要用 SQL、表达式或脚本写自定义规则。自定义规则灵活,维护成本也更高。要有版本记录、测试样例和变更评审,避免一个人改了口径,其他人不知道。
以 Microsoft Purview 的规则类型为例,平台内置了新鲜度、唯一值、字符串格式匹配、数据类型匹配、重复行、空值和空白字段、表查找以及自定义规则。不同工具的命名不同,覆盖的检查方式大体相通。选型时看这些类型能否覆盖自己的关键对象,比看功能列表长短更有用。
四、一条好的数据质量规则要满足什么
规则写得长,维护成本也会高。能长期使用的规则,通常满足三个条件:可执行、可判定、有业务后果。
1. 可执行
规则要能落成 SQL、表达式、脚本或明确的人工核对步骤。数据必须准确、加强源头管理这类要求,无法直接执行,只能算原则。原则需要继续拆成对象、条件、阈值和检查范围,才能变成规则。
2. 可判定
通过和失败不能有歧义。空值、空字符串、只有空格的字符串、0、未知值分别怎么处理,要写清楚。阈值、容差、时间窗和分母也要明确。同一条规则换一个人跑,结果应该一致。
3. 有业务后果
规则失败时,要能说清影响哪张报表、哪笔资金、哪项合规报送或哪类客户体验。没有业务后果的规则,容易变成无人看的告警。规则数量增加,维护成本和噪声也会增加,最后团队可能直接关掉通知。
| 常见写法 | 问题 | 改法 |
|---|---|---|
| 数据必须准确 | 没有判断条件,无法执行 | 明确对象、比对基准、差异率和容差 |
| 所有字段都不能为空 | 范围过宽,误报多 | 只约束关键必填字段,设置比例阈值 |
| 规则越多越好 | 维护成本高,告警疲劳 | 每条规则对应业务影响,定期评审下线 |
把规则写成一张可检查的卡片,比只写“数据要准确”更容易落地。下面是说明写法的示例,不是统一阈值。
| 要素 | 示例填写 |
|---|---|
| 检查对象 | 指定业务范围内、当日新增的订单记录 |
| 判断条件 | 每条记录的订单号不能为空 |
| 统计方式 | 通过记录数÷本次应检查记录数 |
| 合格要求 | 本示例要求所有应检查记录均通过,实际阈值由业务确认 |
| 责任与处理 | 由该数据对象的责任人确认影响,记录问题并复核修复结果 |
写完后再检查例外:测试记录是否纳入、数据未到齐时何时执行、规则失败是否影响下游。例外不明确,严格的阈值也可能产生误报。
五、怎么写出第一批数据质量规则
第一次做规则,从 3 到 5 个关键对象开始,不要按表铺开。 表越多,规则越多,告警越多,业务感受反而不明显。
- 选对象。优先选出错会影响资金、合规、核心报表或客户体验的数据,被两个以上系统或团队使用、近三个月出过问题的对象也要纳入。
- 找问题。翻历史问题单、对账差异、报表争议、埋点漏报和人工核对记录,先确认哪些问题反复出现。
- 定维度和条件。一条规则只回答一个主要问题。先写判断条件,再定阈值,避免先有数字再找理由。
- 跑基线。用近 30 天数据试跑,记录通过率、异常记录数、影响范围和修复耗时。阈值先宽后紧,观察两周再收紧。
- 定责任和闭环。写清责任人、告警等级、响应时限、修复方式、复核标准和规则版本。没有责任人的规则,失败后也很难关闭。
- 定期评审。长期不触发、没人查看、业务已经变化的规则,要修改或下线。规则库每季度评审一次,比一次性写几百条更有用。
阈值可以分三类:
- 硬阈值适合零容忍项,例如支付金额差异、负库存、监管报送字段为空。
- 比例阈值适合允许少量噪声的字段,例如注册事件关键字段空值率不高于 0.5%。
- 波动阈值适合看趋势的指标,例如日订单量较过去 7 日均值波动不超过 20%。
对象选择、告警分级和工单闭环是另一层工作,本文不展开。初次落地时,先把规则表、问题单和复核记录留痕,比先买一套平台更重要。
六、规则上线后怎么判断有没有用
规则上线不等于质量提升。规则上线后要看覆盖率、误报率和修复时长,不只看触发次数。
- 规则覆盖率:关键数据对象中已经配置规则的比例。
- 触发率:每个周期触发多少次。长期为 0 不一定是好事,可能是阈值太宽,也可能规则根本没有运行。
- 误报率:触发后被判定为正常或无需处理的比例。
- 平均修复时长:从告警触发到复核关闭的时间。
- 复发率:同类问题在关闭后 30 天内再次发生的比例。
新规则先用历史数据回测。把过去三个月的已知问题拿出来,看规则能不能命中;再抽一批正常数据,看会不会误报。两项都通过,再接入告警。规则变更要留版本,阈值、判断逻辑、责任人变化都要可追溯。
如果规则频繁触发但没人处理,先查三件事:阈值是否脱离业务容忍度,责任人是否清楚,问题是否根本不在数据侧。排查方法可以看数据质量问题怎么排查?从指标异常追到数据链路。
七、数据质量规则在数据治理中的位置
数据治理管组织、制度、标准、架构、安全和质量,数据质量规则是质量这条线上的执行单元。它把标准里的要求翻译成可检查的条件,再把检查结果送回治理流程,推动源头整改。
规则需要和指标口径、元数据、主数据、权限、工单一起工作。同一客户在 CRM 和财务系统名称不一致,规则可以发现差异,但要不要以 CRM 为权威源,需要主数据和业务负责人确认。规则能暴露问题,不能替组织决定哪个值才算对。
如果企业还在搭治理体系,可以先看企业级数据治理体系怎么搭?,再回到质量规则。治理框架解决谁来定标准、谁来负责,规则解决具体怎么查。
八、AI 能帮数据质量规则做什么
AI 可以从历史问题单、数据剖析结果和异常记录中生成规则候选,也能在告警后做初步归因、整理复盘材料。它可以降低写第一条规则的成本。
AI 适合生成候选和做初步归因,业务阈值仍要人确认。 资金、监管、客户权益相关数据不适合直接交给 Agent 自动改数。规则的质量取决于业务判断,工具只能加快执行。
对使用 ThinkingAI 做用户行为分析、经营看板的企业来说,规则的价值最终体现在每次取数、复盘和决策时,团队能说清这批数据是否可信。ThinkingAI 已服务全球超 1500 家企业、接入产品超 8000 款,规则最终要落到这些真实的取数、分析和运营场景里。
常见问题
1. 数据质量规则和数据质量指标有什么区别?
指标是数值,规则是合格线。指标告诉你现在是多少,规则告诉你多少算合格。两者配对使用,才能判断数据能不能用于分析、结算或对外报送。
2. 数据质量规则越多越好吗?
规则数量增加,维护成本和告警噪声也会增加。每条规则应对应一个业务影响,有责任人、阈值和复核方式。长期不触发、也没人查看的规则,应定期下线。
3. 数据质量规则应该由谁制定?
业务负责人定业务含义和容忍度,数据负责人定检查逻辑和阈值,IT 负责采集、加工和修复。三类角色可以由同一人兼任,签字确认的环节仍要分开。
4. 数据质量规则多久检查一次?
按决策节奏定。资金、库存和核心交易链路用实时或小时级检查,核心报表用日级,辅助分析用周级。规则和阈值每月或每季度复盘一次,业务变化后及时调整。
5. 没有可信基准,能写准确性规则吗?
没有基准时,只能做格式、范围、枚举和逻辑检查,不能计算准确率。准确性规则需要源系统、支付流水、人工复核或权威参考数据作为比对基准。没有基准就写明限制,不要用系统内部自洽代替真实值。
6. 数据质量规则能自动生成吗?
可以从数据剖析、历史问题和异常记录中生成候选规则,但业务含义、阈值、责任人和高风险处置需要人确认。自动生成适合做起点,不适合直接替代评审。
7. 数据质量规则和清洗规则是一回事吗?
不完全一样。质量规则判断数据是否合格,清洗规则描述发现问题后怎么处理,例如去重、补空、统一格式、修正异常值。先有判断,再决定清洗策略;清洗后还要用规则复核。
参考资料
- 国家市场监督管理总局、中国国家标准化管理委员会. GB/T 36344-2018《信息技术 数据质量评价指标》, 2018-06-07 发布, 2019-01-01 实施. https://openstd.samr.gov.cn/bzgk/std/newGbInfo?hcno=D12140EDFD3967960F51BD1A05645FE7
- 贵州省大数据发展管理局. 贵州在全国率先编制《贵州省数据质量评估体系》顺利通过专家论证, 2021-05-19. https://dsj.guizhou.gov.cn/hdjl/rdhy/202105/t20210519_86420923.html
- Microsoft Learn. 在统一目录中创建数据质量规则. https://learn.microsoft.com/zh-cn/purview/unified-catalog-data-quality-rules,访问日期 2026-11-10.






