ThinkingAI Logo
返回博客列表

数据质量规则怎么写?规则结构与常见示例

数据质量规则是把数据要求写成可执行判断的约定。内容覆盖它与维度、指标的区别、五类常见规则、规则卡要素,以及首批规则的写法与验证方法。

2026-11-1312分钟
数据质量规则怎么写?规则结构与常见示例

数据质量规则是对数据应满足条件的一条明确约定。 它把数据要准确这类要求,落成可以检查、可以判定通过或失败的判断。例如,订单号在订单表中必须唯一;支付订单的实付金额与支付流水按订单号汇总后,差异率不高于 0.1%;注册事件的用户标识、注册时间和渠道字段非空率不低于 99.5%。有了这样的条件,团队才能知道哪批数据不合格、谁来处理、处理后是否真的恢复。

数据质量规则通常放在数据质量管理流程里使用。它负责定义合格线,监控负责发现越线,工单负责修复,复盘负责判断规则本身是否合理。只写规则不做检查和闭环,规则会停留在文档里。

一、一条数据质量规则包含什么

规则可以很短,也可以很复杂。要让另一个人按同样口径复现,至少要写清五件事。

  • 检查对象:表、字段、事件、指标或跨表关系。
  • 判断条件:什么情况算通过,什么情况算失败。
  • 阈值与容差:允许多少比例或多大范围的偏差。
  • 检查范围与频率:按哪个时间窗、分区或样本检查,多久跑一次。
  • 责任人与处置:失败后通知谁、多久响应、如何复核关闭。
规则判断条件阈值主要对应维度
订单号唯一订单表中 order_id 不重复重复记录为 0唯一性
支付金额一致订单实付金额与支付流水按订单号汇总后比对差异率不高于 0.1%准确性、一致性
注册事件完整user_id、register_time、channel 均非空空值率不高于 0.5%完整性

规则和指标经常一起出现,但作用不同。指标给出一个数值,规则给出合格线。支付金额差异率 0.08% 是指标结果,差异率不高于 0.1% 才是规则。只报指标不写规则,读者无法判断这个数算好还是不好。

二、数据质量规则、维度、指标有什么区别

这三个词容易混在一起。维度回答看哪个方面,指标回答现在是多少,规则回答什么算合格。

概念回答的问题例子
数据质量维度从哪个方面评价数据完整性、准确性、一致性、时效性
数据质量指标这个方面现在是多少订单必填字段空值率 0.8%
数据质量规则什么情况下算合格空值率不高于 0.5%
数据质量检查这次检查是否通过按日运行规则,输出通过或失败

国家标准 GB/T 36344-2018《信息技术 数据质量评价指标》给出六个一级指标,分别是规范性、完整性、准确性、一致性、时效性和可访问性。它提供的是评价框架,具体规则仍要结合业务后果来写。团队需要为每个维度确定检查对象、条件和阈值,不能停在维度名称上。唯一性没有作为国标六维的一级指标,但在订单、支付、埋点事件里经常单列,因为主键重复会让行数和分母同时失真。

这些指标怎么算、分母怎么取,可以看如何衡量数据质量?完整性、准确性与一致性的检查方法。那篇文章把完整性、准确性和一致性的检查卡、抽样和阈值讲得更细。

维度、指标和规则要一起用。维度防止团队只看一个数,指标让趋势可比较,规则让异常可触发。只有维度没有规则,评估会停在打分;只有规则没有维度,规则容易零散,难以判断覆盖是否均衡。

三、常见的数据质量规则有哪些

按检查范围分,常见规则可以分成五类。先覆盖关键对象,再扩展规则类型。

1. 单字段规则

单字段规则只检查一个字段,适合放在采集入口和入仓校验。常见条件包括非空、数据类型、格式、枚举、值域、长度和唯一。手机号必须是 11 位数字,订单状态必须在允许的枚举内,支付金额必须大于 0,都属于这一类。

这类规则成本低,容易全量运行,适合先跑起来。局限也明显,字段有值、格式正确,不代表值真实。一个渠道字段 100% 有值,也可能全部填成未知。

2. 跨字段规则

跨字段规则检查同一行记录里多个字段的关系。订单金额等于单价乘数量,结束时间不早于开始时间,已支付订单必须有支付时间,都是典型例子。

这类规则依赖清晰的业务逻辑。字段关系没有定义清楚时,先补口径,不要急着写规则。否则规则会把正常业务判成异常。

3. 跨记录与跨表规则

跨记录规则检查多条记录之间的关系,常见的有主键唯一、业务键唯一、重复行和参照完整性。跨表规则还要比对两张表,例如订单表的 user_id 必须能在用户表找到,订单金额与支付流水按订单号汇总后必须一致。

这类规则适合多系统、多表关联的场景。写之前要先定权威源、对账键、时间窗和币种。权威源不定,两个数不一致时很难判断哪边错了。

4. 时间与数量规则

时间规则检查数据是否按时到达,例如 T+1 数据必须在次日 8 点前产出,24 个小时分区不能缺段。数量规则检查记录数、金额或事件量是否在合理范围,例如日订单量较过去 7 日均值波动不超过 20%。

这类规则擅长发现链路中断、漏采、重复上报和任务延迟。阈值要结合业务周期设置,促销、节假日和版本发布都会带来正常波动。

5. 自定义业务规则

结算、风控、监管报送等场景,条件往往更复杂,需要用 SQL、表达式或脚本写自定义规则。自定义规则灵活,维护成本也更高。要有版本记录、测试样例和变更评审,避免一个人改了口径,其他人不知道。

以 Microsoft Purview 的规则类型为例,平台内置了新鲜度、唯一值、字符串格式匹配、数据类型匹配、重复行、空值和空白字段、表查找以及自定义规则。不同工具的命名不同,覆盖的检查方式大体相通。选型时看这些类型能否覆盖自己的关键对象,比看功能列表长短更有用。

四、一条好的数据质量规则要满足什么

规则写得长,维护成本也会高。能长期使用的规则,通常满足三个条件:可执行、可判定、有业务后果。

1. 可执行

规则要能落成 SQL、表达式、脚本或明确的人工核对步骤。数据必须准确、加强源头管理这类要求,无法直接执行,只能算原则。原则需要继续拆成对象、条件、阈值和检查范围,才能变成规则。

2. 可判定

通过和失败不能有歧义。空值、空字符串、只有空格的字符串、0、未知值分别怎么处理,要写清楚。阈值、容差、时间窗和分母也要明确。同一条规则换一个人跑,结果应该一致。

3. 有业务后果

规则失败时,要能说清影响哪张报表、哪笔资金、哪项合规报送或哪类客户体验。没有业务后果的规则,容易变成无人看的告警。规则数量增加,维护成本和噪声也会增加,最后团队可能直接关掉通知。

常见写法问题改法
数据必须准确没有判断条件,无法执行明确对象、比对基准、差异率和容差
所有字段都不能为空范围过宽,误报多只约束关键必填字段,设置比例阈值
规则越多越好维护成本高,告警疲劳每条规则对应业务影响,定期评审下线

把规则写成一张可检查的卡片,比只写“数据要准确”更容易落地。下面是说明写法的示例,不是统一阈值。

要素示例填写
检查对象指定业务范围内、当日新增的订单记录
判断条件每条记录的订单号不能为空
统计方式通过记录数÷本次应检查记录数
合格要求本示例要求所有应检查记录均通过,实际阈值由业务确认
责任与处理由该数据对象的责任人确认影响,记录问题并复核修复结果

写完后再检查例外:测试记录是否纳入、数据未到齐时何时执行、规则失败是否影响下游。例外不明确,严格的阈值也可能产生误报。

五、怎么写出第一批数据质量规则

第一次做规则,从 3 到 5 个关键对象开始,不要按表铺开。 表越多,规则越多,告警越多,业务感受反而不明显。

  • 选对象。优先选出错会影响资金、合规、核心报表或客户体验的数据,被两个以上系统或团队使用、近三个月出过问题的对象也要纳入。
  • 找问题。翻历史问题单、对账差异、报表争议、埋点漏报和人工核对记录,先确认哪些问题反复出现。
  • 定维度和条件。一条规则只回答一个主要问题。先写判断条件,再定阈值,避免先有数字再找理由。
  • 跑基线。用近 30 天数据试跑,记录通过率、异常记录数、影响范围和修复耗时。阈值先宽后紧,观察两周再收紧。
  • 定责任和闭环。写清责任人、告警等级、响应时限、修复方式、复核标准和规则版本。没有责任人的规则,失败后也很难关闭。
  • 定期评审。长期不触发、没人查看、业务已经变化的规则,要修改或下线。规则库每季度评审一次,比一次性写几百条更有用。

阈值可以分三类:

  • 硬阈值适合零容忍项,例如支付金额差异、负库存、监管报送字段为空。
  • 比例阈值适合允许少量噪声的字段,例如注册事件关键字段空值率不高于 0.5%。
  • 波动阈值适合看趋势的指标,例如日订单量较过去 7 日均值波动不超过 20%。

对象选择、告警分级和工单闭环是另一层工作,本文不展开。初次落地时,先把规则表、问题单和复核记录留痕,比先买一套平台更重要。

六、规则上线后怎么判断有没有用

规则上线不等于质量提升。规则上线后要看覆盖率、误报率和修复时长,不只看触发次数。

  • 规则覆盖率:关键数据对象中已经配置规则的比例。
  • 触发率:每个周期触发多少次。长期为 0 不一定是好事,可能是阈值太宽,也可能规则根本没有运行。
  • 误报率:触发后被判定为正常或无需处理的比例。
  • 平均修复时长:从告警触发到复核关闭的时间。
  • 复发率:同类问题在关闭后 30 天内再次发生的比例。

新规则先用历史数据回测。把过去三个月的已知问题拿出来,看规则能不能命中;再抽一批正常数据,看会不会误报。两项都通过,再接入告警。规则变更要留版本,阈值、判断逻辑、责任人变化都要可追溯。

如果规则频繁触发但没人处理,先查三件事:阈值是否脱离业务容忍度,责任人是否清楚,问题是否根本不在数据侧。排查方法可以看数据质量问题怎么排查?从指标异常追到数据链路。

七、数据质量规则在数据治理中的位置

数据治理管组织、制度、标准、架构、安全和质量,数据质量规则是质量这条线上的执行单元。它把标准里的要求翻译成可检查的条件,再把检查结果送回治理流程,推动源头整改。

规则需要和指标口径、元数据、主数据、权限、工单一起工作。同一客户在 CRM 和财务系统名称不一致,规则可以发现差异,但要不要以 CRM 为权威源,需要主数据和业务负责人确认。规则能暴露问题,不能替组织决定哪个值才算对。

如果企业还在搭治理体系,可以先看企业级数据治理体系怎么搭?,再回到质量规则。治理框架解决谁来定标准、谁来负责,规则解决具体怎么查。

八、AI 能帮数据质量规则做什么

AI 可以从历史问题单、数据剖析结果和异常记录中生成规则候选,也能在告警后做初步归因、整理复盘材料。它可以降低写第一条规则的成本。

AI 适合生成候选和做初步归因,业务阈值仍要人确认。 资金、监管、客户权益相关数据不适合直接交给 Agent 自动改数。规则的质量取决于业务判断,工具只能加快执行。

对使用 ThinkingAI 做用户行为分析、经营看板的企业来说,规则的价值最终体现在每次取数、复盘和决策时,团队能说清这批数据是否可信。ThinkingAI 已服务全球超 1500 家企业、接入产品超 8000 款,规则最终要落到这些真实的取数、分析和运营场景里。

常见问题

1. 数据质量规则和数据质量指标有什么区别?

指标是数值,规则是合格线。指标告诉你现在是多少,规则告诉你多少算合格。两者配对使用,才能判断数据能不能用于分析、结算或对外报送。

2. 数据质量规则越多越好吗?

规则数量增加,维护成本和告警噪声也会增加。每条规则应对应一个业务影响,有责任人、阈值和复核方式。长期不触发、也没人查看的规则,应定期下线。

3. 数据质量规则应该由谁制定?

业务负责人定业务含义和容忍度,数据负责人定检查逻辑和阈值,IT 负责采集、加工和修复。三类角色可以由同一人兼任,签字确认的环节仍要分开。

4. 数据质量规则多久检查一次?

按决策节奏定。资金、库存和核心交易链路用实时或小时级检查,核心报表用日级,辅助分析用周级。规则和阈值每月或每季度复盘一次,业务变化后及时调整。

5. 没有可信基准,能写准确性规则吗?

没有基准时,只能做格式、范围、枚举和逻辑检查,不能计算准确率。准确性规则需要源系统、支付流水、人工复核或权威参考数据作为比对基准。没有基准就写明限制,不要用系统内部自洽代替真实值。

6. 数据质量规则能自动生成吗?

可以从数据剖析、历史问题和异常记录中生成候选规则,但业务含义、阈值、责任人和高风险处置需要人确认。自动生成适合做起点,不适合直接替代评审。

7. 数据质量规则和清洗规则是一回事吗?

不完全一样。质量规则判断数据是否合格,清洗规则描述发现问题后怎么处理,例如去重、补空、统一格式、修正异常值。先有判断,再决定清洗策略;清洗后还要用规则复核。

参考资料

推荐文章

准备好构建你的 Agent 团队了吗

立即体验 Agentic Engine, 让 AI 成为真正的团队成员

ThinkingAI Big Logo
电话咨询