ThinkingAI Logo
返回博客列表

数据质量评价标准怎么写?规则与判定示例

一份可执行的数据质量评价标准,要写清评价对象、指标权重、规则口径、阈值判定、评分等级和责任流程。本文给出文档结构、规则模板、六类判定示例与评分方法,并说明 GB/T 36344 的版本状态和引用边界。

2026-11-2015分钟
数据质量评价标准怎么写?规则与判定示例

数据质量评价标准要回答四个问题,包括评价哪些数据、看哪些指标、每条规则怎么算、多少算合格。GB/T 36344-2018 给出了规范性、完整性、准确性、一致性、时效性和可访问性六类一级指标,企业标准还要把这些指标落到自己的表、字段、阈值和责任上。六类指标的定义和计算口径,可以先看数据质量评价指标。文中的阈值只用于演示,不能直接当行业标准。

一、数据质量评价标准包含哪些内容

一份能执行的标准,读完后应该知道检查谁、怎么查、多少算合格、不合格找谁。文档可以长,以下部分不能缺。

章节要写的内容常见缺项
封面和文档信息标准编号、版本、发布日期、实施日期、归口部门、起草人和审批人没有版本号,改了口径查不到旧版
1 范围适用的业务域、系统、表、字段、时间范围和不适用对象只写适用于公司数据,范围过大
2 规范性引用文件GB/T 36344、企业数据标准、接口规范、指标口径文件引用了文件但没有写版本和日期
3 术语和定义数据质量、评价指标、质量规则、阈值、权威源、关键数据项同一个词在不同部门含义不同
4 评价对象和范围表清单、字段清单、数据粒度、分区、纳入和排除条件分母不稳定,两次评价不可比
5 指标和权重一级维度、二级指标、权重、适用条件和计算口径只有维度名称,没有可算指标
6 质量规则规则编号、判断条件、分子分母、统计窗口、频率、责任人规则无法执行或无法复算
7 阈值和判定合格线、预警线、关键规则、判定流程和证据要求阈值拍脑袋,判定只有通过或不通过
8 评分和等级规则得分、维度得分、总分、等级和否决项总分掩盖关键字段失败
9 流程和职责计划、执行、复核、报告、整改、复检和升级机制发现问题后没有责任人和时限
10 记录和复审评价报告、规则版本、检查证据、复审周期和变更记录没有留痕,标准长期不更新
附录规则清单、判定示例、评分表、报告模板标准只有原则,无法直接使用

这张表可以直接当目录用。影响执行最大的是第 4 到第 8 章,对象、指标、规则、阈值和评分只要有一处含糊,后面的检查结果就很难复算。

二、先确定评价对象和用途

写标准的第一步是定对象和用途。评价对象可以是字段、记录、表、主题域或整个数据集。粒度不同,分子分母和阈值都不同。

示例内容如下。评价对象为订单主题域的 fact_order、dim_user、dim_product 三张表,统计 2026 年 11 月 16 日分区。用途是经营日报和支付对账上线前检查。字段级检查完整性和规范性,记录级检查唯一性和一致性,表级检查时效性和可访问性。测试订单、压测数据和内部账号不参与评价。

用途决定严格程度。用于结算、监管报送和对外共享的数据,准确性、一致性和可追溯性要求更高;用于内部探索分析的数据,可以适当放宽完整性和时效性。把用途写进标准,阈值才有依据。

三、指标和权重怎么定

数据质量评价指标回答看哪个方面,质量规则回答具体怎么算。GB/T 36344-2018 的六类一级指标可以作为基线。标准页面显示,截至 2026 年 11 月 17 日,2018 版仍是现行版本;2026 版已于 2026 年 10 月 30 日发布,将于 2027 年 5 月 1 日实施并全部代替 2018 版。新建标准可以预留版本切换空间,在实施日期前仍引用现行版本,具体条款变化以正式文本为准。

一级指标标准定义常见规则
规范性数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度枚举值是否合法、编码格式是否符合规则、字段长度是否超限
完整性按照数据规则要求,数据元素被赋予数值的程度必填字段空值率、应到记录到达率、应有时段是否连续
准确性数据准确表示其所描述的真实实体及其真实值的程度与源系统或支付流水比对的差异率、金额核对差异率
一致性数据与其他特定上下文中使用的数据无矛盾的程度主外键孤儿率、跨表金额一致率、同一指标在不同报表的差异
时效性数据在时间变化中的正确程度按时产出率、数据延迟时长、T+1 数据在约定时间前可用率
可访问性数据能被访问的程度查询成功率、权限开通时长、平均响应时间

六类指标是一级框架,不要求所有场景等权。交易结算数据可以把准确性和一致性权重调高,用户画像数据可以把完整性和一致性调高,经营报表要兼顾时效性。企业也可以增加唯一性、有效性等补充维度,但要写清与六类的关系,避免同一条规则重复计分。

场景准确性完整性一致性时效性规范性可访问性
交易结算30%25%20%15%5%5%
用户画像20%25%25%15%10%5%
经营报表25%20%25%20%5%5%

这张表只是起点。权重应由业务影响决定,不由数据团队凭感觉分配。标准里要写清每个权重的理由和调整条件,业务变化后重新评审。

四、规则怎么写才能复算

数据质量规则要能被另一个人按同样口径复现。一条规则至少写清五件事,查谁、算什么、分母是谁、什么时候算、算完谁处理。

字段填写要求示例
规则编号维度代码、对象和序号DQ-COM-001
规则名称一句话说明检查什么用户手机号空值率
评价对象表、字段、分区dim_user.mobile,dt=2026-11-16
规则类型对应一级指标完整性
业务含义这个字段影响什么业务短信触达、账号找回
判断条件什么情况算不合格手机号为空、为空字符串或只有空格
分子不合格记录数手机号无效的记录数
分母应检查记录数当日非测试用户记录数
统计窗口时间范围、时区、批次自然日,T+1,Asia/Shanghai
样本方式全量或抽样全量
阈值合格线和预警线合格≤0.10%;超过0.05%预警,超过0.10%不达标
检查频率多久跑一次每日
责任人角色而非个人用户域数据负责人
异常处理确认、修复、复检时限2 小时内确认,24 小时内修复,修复后复检
版本规则版本和变更说明V1.0,2026-11-17 发布

最容易出问题的是分母和例外。分母要写清是全部记录、应到记录、去重后的业务对象还是可关联记录。空值、空字符串、只有空格的字符串、0、未知值要分别定义。测试数据、压测数据、内部账号、重复上报要不要排除,也要写进标准。

规则类型、单字段规则、跨表规则和自定义规则的更多写法,可以参考数据质量规则。

下面是一条完整性规则的 SQL 示例,统计非测试用户中手机号无效的比例。

<code class="language-sql">SELECT
  COUNT(*) AS total_rows,
  SUM(CASE WHEN mobile IS NULL OR TRIM(mobile) = '' THEN 1 ELSE 0 END) AS invalid_rows,
  ROUND(
    SUM(CASE WHEN mobile IS NULL OR TRIM(mobile) = '' THEN 1 ELSE 0 END) * 100.0 / COUNT(*),
    4
  ) AS invalid_rate
FROM dim_user
WHERE dt = '2026-11-16'
  AND is_test = 0;

</code>

这条 SQL 把分母定义为当日非测试用户,把空值和空白字符都算作无效。如果业务还把未知号码、占位号码视为无效,需要在条件里补上。规则上线前先用历史数据回测,确认不会把正常记录大量误判。

五、阈值怎么定

阈值是数据质量判定标准的核心,也是标准的难点。定得太松,问题发现不了;定得太严,告警天天响,团队很快不再看。阈值可以从四个输入来定,外部硬约束、业务后果、历史基线和修复成本。

  • 外部硬约束优先。监管报送、合同约定、财务对账有明确要求的,按约束定,不能自行放宽。
  • 业务后果决定严格程度。影响资金、合规、核心报表和客户权益的规则从严,影响内部探索分析的规则可以放宽。
  • 历史基线提供起点。先跑 30 天,观察通过率的分布,用中位数和较差分位设定初始阈值,再逐步收紧。
  • 修复成本影响阈值节奏。修复链路长、涉及上游系统的问题,先设预警线,给团队留出处理时间。
规则类型示例阈值适用条件注意
主键和支付单号唯一性重复记录为 0订单、支付、事件表任何重复都要查明原因,不能只看比例
核心金额对账差异率≤0.01%与支付流水或源系统日终对账写清币种、单位、容差和时间窗
核心字段完整性≥99.5%影响结算、触达或核心报表先看历史基线,避免一步到位
一般分析字段完整性≥95%不影响资金和合规可按字段重要程度分档
跨系统一致性≥99.9%订单与支付、用户与账号权威源、对账键和时间窗必须统一
T+1 数据时效性08:00 前可用率≥99%经营日报、早会决策统计至少 30 个批次,避免偶发波动

建议设两条线。合格线用于判断能不能用,预警线用于提前处理。比如核心字段完整率合格线为 99.5%,提前预警线为 99.7%:实际值达到或超过 99.7% 时合格且不预警,达到 99.5% 但低于 99.7% 时仍合格但触发预警,低于 99.5% 时不达标。只有合格线的标准,问题往往在已经影响业务后才被发现。

自动规则适合覆盖全量数据,准确性核对往往需要抽样。抽样比例、分层方法和核对覆盖率要写进标准,具体做法可以参考数据质量抽查。抽样结果只能代表样本范围,报告里要写清样本量和覆盖范围。

六、六类规则的判定示例

数据质量判定要按固定顺序走。先确认检查任务成功,分区存在、数据量正常、抽样完成;再计算指标;接着对比合格线和预警线;然后看这条规则是否属于关键规则;最后输出判定、证据和处置建议。任务失败或数据未到齐时,不能直接判达标。

数据质量判定流程,依次为任务成功、计算指标、对比阈值、关键规则、输出判定
维度规则和计算实测阈值判定
规范性订单状态非法枚举率 = 非法状态记录数 ÷ 总记录数200 ÷ 100000 = 0.20%合格线≤0.50%达标
完整性用户手机号空值率 = 无效手机号记录数 ÷ 非测试用户记录数120 ÷ 40000 = 0.30%合格线≤0.10%;超过0.05%预警,超过0.10%不达标不达标
准确性支付金额差异率 = 差异订单数 ÷ 对账订单数3 ÷ 50000 = 0.006%合格线≤0.01%达标
一致性孤儿订单率 = 无法关联用户的订单数 ÷ 当日订单数80 ÷ 1000000 = 0.008%合格线≤0.01%达标
时效性按时可用率 = 08:00 前可用天数 ÷ 统计天数29 ÷ 30 = 96.7%合格线≥99%不达标
可访问性查询成功率 = 成功查询次数 ÷ 总查询次数99.7%合格线≥99.5%达标

这张表显示,判定依据是规则和阈值,不能凭感觉。手机号空值率 0.30% 看起来不高,但超过合格线 0.10%,就要判不达标并触发处理。空值率不超过 0.05% 时合格且不预警,超过 0.05% 但不超过 0.10% 时仍合格但触发预警,超过 0.10% 时不达标。支付金额差异率 0.006% 低于 0.01%,判达标,但仍要保留差异订单清单,方便复核。

七、评分和等级怎么定

数据质量评分用于看趋势和比较,判定用于决定能不能用,两者要分开。可以用三档规则得分,达标 100 分,预警 70 分,不达标 0 分。维度得分是规则得分的加权平均,规则等权时就是平均分,总分是维度得分的加权平均。

关键规则要单独设否决项。影响资金、合规、核心报表和客户权益的规则,失败时直接判不合格,不参与平均分的抵扣。关键规则不宜过多,控制在 5 到 10 条,否则等于没有重点。

维度权重规则得分维度得分加权得分
规范性10%10010010.0
完整性25%手机号 0,订单号 1005012.5
准确性25%10010025.0
一致性20%10010020.0
时效性15%000.0
可访问性5%1001005.0
合计100%72.5

完整性维度有两条规则,手机号空值率不达标得 0 分,订单号非空达标得 100 分,维度得分取平均 50 分。总分 72.5,落在合格档。如果手机号被列为关键规则,这次评价直接判不合格,不进入合格档。

总分等级处理建议
90 分及以上优秀可以发布,保持监控,按周期复审
80 到 89 分良好可以发布,限期修复预警项
70 到 79 分合格有条件使用,关键规则不得失败,限期整改
70 分以下不合格停止用于结算、对外报送或核心决策,完成整改后复评

八、标准怎么评审和落地

标准写完还要能执行。建议先试运行,再评审发布。试运行至少覆盖 30 天,包含正常日、促销日、月末结算和一次数据延迟事件。记录误报、漏报、修复时长和业务反馈,再定版。

阶段主要动作产出
起草数据治理牵头,业务确认口径,IT 确认取数逻辑标准初稿、规则清单
试运行用历史数据回测,跑 30 天,记录误报和漏报基线报告、阈值调整建议
评审业务、数据、IT、合规和安全共同评审评审意见、修改记录
发布编号、版本、生效日期、培训和变更记录正式标准、培训材料
执行按频率运行规则,自动检查加抽样核验,留存证据评价报告、问题清单
复审每半年或一年复审,业务变更时触发临时复审新版本、变更说明

职责要写成角色,不写个人。业务负责人定业务含义和容忍度,数据负责人定指标和规则,IT 或数据开发负责取数、加工和修复,合规和安全审核敏感数据与对外报送要求。同一个角色可以兼任,签字确认的环节要分开。

问题闭环至少包含发现、定级、派单、修复、复检和关闭。每个环节有时限和证据。反复出现的问题,要回到源头查流程、接口或采集,不要每次只改结果数据。组织流程、职责和整改机制可以单独写成控制规范,和评价标准配套使用,具体写法可以参考企业数据质量控制规范。

评价报告要保留规则版本、样本范围、检查证据、问题定级和整改记录。报告不只给一个总分,还要列出每个维度的得分、关键规则状态和不达标项清单。这样业务能看到问题在哪里,数据团队也能按优先级安排修复。

数据质量管理要把标准、规则、责任和工具连起来。标准落地后,检查任务、告警和复盘往往分散在多个系统。ThinkingAI 的数据分析 Agent支持自然语言问数和自动归因,可以把质量检查结果和业务指标放到同一个分析入口。ThinkingAI 已服务全球超 1500 家企业,接入产品超 8000 款,跨系统数据接入是常见场景。工具能降低执行成本,标准里的口径、阈值和责任仍要由企业自己定。

九、常见错误

常见写法问题改法
完整性不低于 95%没写对象、分母和时间窗写清表、字段、分区、分子分母和排除条件
数据必须准确没有比对基准,无法执行指定源系统、支付流水或人工复核结果,写清差异率和容差
所有规则都设 100%告警过多,团队很快忽略分核心和一般,设合格线和预警线
只看总分关键字段失败被平均分掩盖保留维度分、规则状态和关键规则否决项
标准发布就结束没有执行、复盘和版本管理定责任人、频率、复检、复审和变更记录
直接写符合国家标准企业标准不等于国家标准写清引用关系、适用范围和企业自己的阈值

常见问题

1. 数据质量评价标准必须引用 GB/T 36344 吗

不强制。GB/T 36344 是推荐性国家标准,可以作为指标框架。企业标准可以裁剪维度和二级指标,但要写清裁剪理由。如果对外声称符合该标准,需要逐条对齐,不能只引用标准号。

2. 没有历史数据,阈值怎么定

先跑基线。用近 30 天数据计算通过率、异常记录数和影响范围,再用中位数和较差分位设初始阈值。外部硬约束优先,其他规则先宽后紧。试运行两周到一个月,观察误报和漏报后再定版。

3. 规则越多越好吗

规则数量增加,维护成本和告警噪声也会增加。先从影响资金、合规、核心报表和客户体验的 3 到 5 个对象开始,每个对象配少量关键规则。跑顺后再扩展。长期不触发、没人查看的规则,要评审后修改或下线。

4. 评价标准和控制规范有什么区别

评价标准定义看哪些指标、每条规则怎么算、多少算合格、怎么评分。控制规范定义谁负责、什么时候检查、发现问题怎么整改、如何复审。两份文件可以合并,但内容和责任不能混。

5. 新版 GB/T 36344-2026 实施后要马上改吗

2026 版于 2026 年 10 月 30 日发布,2027 年 5 月 1 日实施,并全部代替 2018 版。实施日期前,2018 版仍是现行版本。企业可以提前对照新版正式文本评估差异,更新引用文件和规则,但在实施前不要声称已经符合新版。

6. 评价频率怎么定

跟着决策节奏走。核心交易链路可以实时或小时级检查,核心报表按日检查,辅助分析按周或按月检查。规则和阈值每季度复盘一次,业务变更、系统切换和数据源调整时触发临时复审。

参考来源

  • 全国标准信息公共服务平台,GB/T 36344-2018《信息技术 数据质量评价指标》,https://std.samr.gov.cn/gb/search/gbDetailed?id=71F772D82DFCD3A7E05397BE0A0AB82A
  • 全国标准信息公共服务平台,GB/T 36344-2026《信息技术 数据质量评价指标》,发布日期 2026-10-30,实施日期 2027-05-01,https://std.samr.gov.cn/gb/search/gbDetailed?id=5F6AFB193F597748E06397BE0A0A0B47
  • 中国软件评测中心,《助力夯实数据底座,强化数据质量测评》

准备好构建你的 Agent 团队了吗

立即体验 Agentic Engine, 让 AI 成为真正的团队成员

ThinkingAI Big Logo
电话咨询