ThinkingAI Logo
返回博客列表

数据质量维度如何转成可计算的指标?

围绕数据质量维度指标,拆解从维度定义、检查规则、分子分母、统计粒度到阈值与责任动作的转换方法,覆盖完整性、准确性、一致性、时效性、唯一性、有效性与可访问性,并说明质量分合成、上线验证和口径治理。

2026-11-2014分钟
数据质量维度如何转成可计算的指标?

数据质量维度是一组描述数据可用程度的属性,指标则把这个属性变成能复核的数字。完整性关心必填信息是否齐全,完整率回答在某个数据集、某段时间内齐全的比例是多少。维度给方向,指标给程度,中间还隔着规则、分母、统计粒度和阈值。

报表上写完整性 95% 并不难,难的是说清这 95% 算的是字段、记录还是批次,分母里有没有排除不该检查的数据,低于 95% 之后谁来处理。把维度拆成指标卡,可依次锁定业务用途,把维度写成规则,定义分子和分母,固定统计粒度和时间窗,再设置阈值、责任人及处理动作。

一、维度回答哪方面,指标回答到什么程度

维度是观察角度,指标是带口径的数值。两者混用,最容易出现三种情况。

  • 指标名很完整,计算口径说不清。
  • 每个团队都报 95%,分母不同,无法比较。
  • 指标很多,没有一个能触发修复。

一个可计算的数据质量指标,至少要说清六件事。

要素要回答的问题
统计对象哪张表、哪个字段、哪批数据
判断规则什么算通过,什么算失败
分子通过或失败的记录、字段、批次有多少
分母应检查的总量是多少,哪些情况可以排除
粒度与时间窗按天、按小时还是按批次,用事件时间还是入库时间
阈值与动作低于多少告警,谁负责修复,多久复盘

维度名可以共用,指标口径必须各自写清。同一句完整率,字段级和记录级可能差出十几个百分点。

二、把维度转成指标,先过五道关

  • 锁定业务用途。 先确定这个指标服务于哪个判断,例如订单能否进入履约、支付对账能否关账、用户标签能否用于投放。用途不清楚,阈值和优先级都定不下来。
  • 把维度写成数据质量规则。 完整性要说明哪些字段必填,空字符串、未知值、N/A 是否算缺失;一致性要说明比较哪两个系统、用哪个键关联;时效性要说明从哪个时间点开始算。
  • 定义分子和分母。 分子和分母必须使用同一统计对象、同一时间窗、同一粒度。分母里排除不适用数据时,要写明排除条件。
  • 固定粒度和时间窗。 按天统计的指标,不要和按批次统计的指标直接相加;用事件时间统计,能反映业务发生到数据可用的真实延迟。
  • 设置阈值和责任动作。 阈值要能触发动作,例如阻断下游、发工单、加抽检。没有动作的阈值只是装饰。
维度转指标的五个环节示意图

图 1:维度转指标的五个环节,依次为维度、规则、分子与分母、阈值、行动。图中用目标、规则清单、分数、仪表和工具表示,不含具体数值。

把上面的要素填进一张指标卡,指标就有了可复核的骨架。

指标卡字段示例
指标名称订单主表必填字段完整率
业务用途判断订单能否进入履约
统计对象订单主表,按订单号统计
通过规则收货地址、支付方式、订单金额已赋值,且不属于未知值
分子必填字段全部通过的订单数
分母当期应进入履约的订单数
粒度与时间窗按天,按订单创建时间
阈值与动作低于 99% 预警,低于 95% 阻断并通知订单团队

表中阈值只作示例,企业应按业务影响调整。

三、先对齐维度框架,避免同名不同义

数据质量维度没有唯一通用清单。实践中常见的两套框架,一套来自国家标准,一套来自 IBM 的常用归纳。

国家标准 GB/T 36344-2018《信息技术 数据质量评价指标》目前仍是现行版本,给出规范性、完整性、准确性、一致性、时效性、可访问性六类一级指标。全国标准信息公共服务平台显示,GB/T 36344-2026 已于 2026 年 10 月 30 日发布,将于 2027 年 5 月 1 日实施并全部代替 2018 版。本文仍按 2018 版框架讲计算方法;2026 版实施后,应以新版的指标定义和评价方法为准。

IBM 在数据质量维度页面把准确性、完整性、一致性、及时性、有效性、唯一性列为六个核心维度,并说明这一概念常被追溯到 Wang 和 Strong 1996 年的研究,实践中没有唯一通用标准,六到十二个维度都被广泛采用。

关注点GB/T 36344-2018IBM 常用六维
数据齐全完整性完整性
与事实一致准确性准确性
彼此无矛盾一致性一致性
时间上可用时效性及时性
符合规则和标准规范性有效性
记录不重复未单列一级指标唯一性
需要时能取得可访问性未单列核心维度

这张表只做对照,不表示两套框架逐项等价。企业选一套做主框架,再把另一套里业务需要的维度补进来,比同时维护两套口径更省事。

四、六个常用维度怎么算

下面以业务上最常用的六类为主,并补上 GB/T 的可访问性。公式给的是计算骨架,具体规则要按数据集写。

维度核心问题常用指标
完整性该有的值是否齐全字段完整率、记录完整率、数据集完整率
准确性数据是否与真实对象一致与参照源一致率、抽检准确率
一致性同一事实在不同位置是否矛盾跨系统一致率、勾稽通过率
时效性需要时是否可用,数据是否够新时限达成率、平均延迟、P95 延迟
唯一性同一实体是否只出现一次唯一率、重复率
有效性与规范性是否符合规则、标准、值域规则通过率、标准符合率
可访问性能否在需要时取得可访问率、平均授权时长

1. 完整性:分清字段、记录和数据集

完整性至少有三个层级,计算分母不同。

  • 字段完整率 = 已按规则赋值的字段数 ÷ 应填字段数。
  • 记录完整率 = 关键字段齐全的记录数 ÷ 已到达记录数。
  • 数据集完整率 = 实际到达记录数 ÷ 应到记录数。

IBM 给出的完整性基本算法是完整数据元素数量除以数据元素总数,也可以写成 1 减去缺失数据元素数量除以数据元素总数。公式简单,难点在“什么算完整”。

字段级适合监控单个字段的缺失,记录级适合判断一条业务记录能否使用,数据集级适合发现整批数据没到。三层要分开报,混在一起会掩盖问题。

举例:1000 条已到达订单中,收货地址缺失 12 条,字段完整率是 98.8%;如果当期应到订单是 1050 条,实际只到达 1000 条,数据集完整率是 95.2%。两个数字都叫完整率,含义不同。

执行时注意三点:

  • 空字符串、NULL、未知值、N/A、系统默认值要有统一认定。
  • 不适用字段要从分母排除,并记录排除规则。
  • 数据集完整率需要独立基准,不能拿表内记录数直接当分母。

2. 准确性:先找到可信的参照源

准确性衡量数据是否真实反映对象。它需要数据之外的参照,常见做法有三种。

  • 与权威源比对,例如主数据、财务系统、支付流水、官方名录。
  • 抽样人工核验,抽一批记录逐条确认。
  • 与业务结果对账,例如结算、发货、核销结果。

准确率的计算骨架是:

准确率 = 与参照源一致的记录数 ÷ 参与比对记录数

采用抽样时,写成抽检准确率 = 抽检一致记录数 ÷ 抽检记录数,并写清样本量、抽样方法和抽检时间。

关键点在于参照源。找不到参照源时,能算的是规则符合率,它属于有效性或规范性;把规则通过率叫作准确率,会高估数据可信度。 例如订单金额与支付流水一致率可以算准确性,订单金额大于零只能算有效性。

准确性指标还要记录参照源版本和比对时间。参照源本身也可能出错,抽检样本太小也会带来波动。准确性通常最难做到实时,按批或按周抽检更现实。

3. 一致性:先定义比对对象和比对键

一致性衡量同一事实在不同位置是否矛盾。先确定三件事:比什么、用什么键比、在哪个时间点比。

  • 跨系统一致率 = 比对键匹配且目标属性一致的记录数 ÷ 可比对记录数。
  • 表内勾稽通过率 = 满足勾稽关系的记录数 ÷ 检查记录数。

跨系统一致率的例子是,CRM 与订单系统中的同一客户手机号是否一致。表内勾稽的例子是,订单金额是否等于单价乘数量再减优惠金额。

关联不上的记录要单独算关联缺失率,不要悄悄塞进一致性分母。关联缺失通常属于完整性问题,混在一起会看不清原因。

执行时注意三点:

  • 两个系统口径不同,先统一口径再比较。
  • 快照时间不同,先对齐时间点。
  • 一对多关系要定义比较粒度,按订单还是按用户,结果会不同。

4. 时效性:看时限达成率和延迟分布

时效性要回答两个问题:需要时有没有,数据够不够新。常用三个指标。

  • 时限达成率 = 在约定时限内可用的记录数或批次数 ÷ 应到记录数或批次数。
  • 平均延迟 = 各记录可用时间与事件时间之差的总和 ÷ 记录数。
  • P95 延迟 = 95% 的记录在该时长内可用。

三个时间点要分清:业务事件发生时间、数据入库时间、用户可查询时间。用事件时间到可查询时间计算,最接近业务感受。

举例:要求支付后 5 分钟内可查,1000 笔订单中有 940 笔达标,时限达成率是 94%;P95 延迟是 8 分钟,说明有 5% 的订单要等 8 分钟以上。平均值会被少量极慢记录拉高或掩盖,关键链路建议同时看 P95。

执行时注意三点:

  • 统一时区,跨区域业务尤其要写清。
  • 迟到数据单独统计,不要直接丢弃。
  • SLA 分场景,经营看板和财务关账的要求不同。

5. 唯一性:先定义什么算同一个实体

唯一性衡量同一业务实体是否重复出现。常用两个指标。

  • 唯一率 = 去重后实体数 ÷ 记录总数。
  • 重复率 = 多余记录数 ÷ 记录总数。

多余记录指同一业务实体键下,除保留一条外的其余记录。举例:1000 条会员记录,按手机号去重后得到 970 个实体,唯一率是 97%,重复率是 3%。

家庭共用手机号、一个用户多个账号,是否算重复,要由业务规则决定。用自增 ID 做唯一性检查,结果通常接近 100%,因为 ID 本来就不会重复。要选能代表业务实体的键,精确匹配、模糊匹配和 One ID 的规则不同,结果不能直接比较。

去重保留哪条也要有规则,例如保留最近更新、信息最完整或来源优先级最高的一条。跨系统合并还要考虑权限和隐私。

6. 有效性与规范性:看规则通过率

有效性偏业务规则,规范性偏标准符合。两者都用规则通过率计算,差别在规则来源。

  • 有效率 = 通过校验的字段数或记录数 ÷ 校验总数。
  • 规范符合率 = 符合数据标准、模型、元数据或权威参考的记录数 ÷ 检查记录数。

有效性的例子包括订单状态在枚举范围内、金额大于零、出生日期不晚于今天。规范性的例子包括字段命名、数据类型、长度、编码符合数据标准。

执行时注意三点:

  • 规则版本要记录,规则一改,指标就变。
  • 一条记录有多条规则时,按记录算还是按规则算要写清。
  • 不要用规则通过率替代准确性,两者回答的问题不同。

7. 可访问性:用服务请求指标衡量

GB/T 36344-2018 把可访问性列为一级指标,衡量数据能不能在需要时取得。它适合用服务指标。

  • 可访问率 = 在约定时限内成功获取数据的请求数 ÷ 有效请求数。
  • 平均授权时长 = 各请求授权完成时间与申请时间之差的总和 ÷ 请求数。

如果采用 IBM 的六维框架,可访问性通常不单列,可以放在数据服务或平台运营指标里。两套框架不必强行合并,但要在指标字典里说明归属,避免重复统计。

五、阈值怎么定才合理

阈值没有通用合格线。同一个完整率,用在支付对账和用在营销名单,要求可能完全不同。建议用三层阈值。

阈值层级作用示例
阻断线停止下游使用或进入修复流程支付对账金额准确率低于 100%
预警线当天排查,通知负责人订单必填字段完整率低于 99%
观察线记录趋势,暂不打断业务用户标签完整率低于 95%

三条依据可以一起用。

  • 业务影响。 错误会导致资金损失、合规风险或决策误判的指标,阈值更严。
  • 历史基线。 先看当前水平和波动范围,再设可达到的改进目标。
  • 修复成本与时效。 能在小时内修复的问题,可以设预警;难以回滚的问题,要设阻断。

阈值要绑定动作和责任人。只改颜色、不触发处理的阈值,很快会被忽略。

六、单维度指标怎么合成质量分

如果管理层需要看总体状态,可以在数据质量评估中把多个维度合成质量分。做法是先把各维度得分归一到同一尺度,再按业务影响赋权。

质量分 = Σ(维度得分 × 权重)

示例权重为准确性 30%、完整性 25%、一致性 20%、时效性 15%、唯一性 5%、有效性 5%。这只是示例,金融、游戏、零售的权重不会一样。

合成时注意三件事。

  • 同一统计对象、同一时间窗才能加权,不同数据集不要直接平均。
  • 金额、合规、安全等关键项设一票否决,关键项不通过时,总分再高也判不合格。
  • 质量分用于管理数据状态,不能替代业务指标,质量分高不代表业务结果好。

分母不同的百分比直接平均会失真。可以先按记录数加权,或者统一到同一粒度后再合成。

七、指标上线后先验证三件事

  • 规则命中是否可解释。 抽 20 到 50 条失败记录逐条确认。误报多,说明规则太粗;漏报多,说明规则没覆盖关键情况。
  • 分母是否稳定。 新渠道接入、表结构变更、历史数据回补都会改变分母。分母突然变大或变小,先查口径,不要急着报质量提升或下降。
  • 数据质量治理。 每个告警要有负责人、处理时限、原因分类和复盘记录。重点看问题关闭率和重复发生率。

起步阶段建议只选一个关键数据集,写 6 到 10 条规则,先上线 3 个指标,设 2 条阈值,指定 1 个负责人。跑通一周,再扩到更多表。指标数量增加很快,能触发修复的指标才有价值。

八、指标口径本身也要治理

质量指标也会遇到口径漂移。同一个完整率,不同团队各写一套 SQL,分母和排除条件稍有不同,结果就对不上。建议把指标卡当作受控资产。

  • 每个指标有唯一名称、定义、负责人和版本。
  • 规则变更走评审,保留变更记录。
  • 指标卡与报表、SQL、数据字典建立关联。
  • 定期抽查指标结果与原始数据是否一致。

在Agent语义层这件事上,ThinkingAI 企业级知识库提供单一事实来源,让同一概念在全系统只有一处定义;每次更新通过 ChangeSet 记录,可追溯、可对比、可回滚。它解决的是口径分散和版本混乱,质量规则本身仍要由业务和数据团队定义。

常见问题

数据质量维度指标包括哪些?

常见的数据质量维度指标包括完整性、准确性、一致性、时效性、唯一性、有效性和可访问性。采用 GB/T 36344-2018 时,一级指标是规范性、完整性、准确性、一致性、时效性和可访问性;采用 IBM 常用六维时,重点看准确性、完整性、一致性、及时性、有效性和唯一性。两套框架有交叉,企业选一套做主框架即可。

数据质量维度指标有哪些常见计算方式?

多数维度用比率计算,分子是通过、失败或一致的记录数、字段数、批次数,分母是应检查总量。时效性还会用平均延迟和 P95 延迟。准确性需要参照源或抽检,不能只靠规则通过率。

准确率能做到 100% 吗?

准确性要做到 100%,通常需要完整、及时、权威的参照源,成本很高。多数场景可以按业务容忍度设阈值,关键资金和合规字段可以要求 100%。抽检准确率受样本影响,报告时要写清样本量和抽样方法。

数据质量分数多少算合格?

没有通用合格线。先看这个数据集支撑什么决策,再定阻断线、预警线和观察线。单一总分可能掩盖关键字段的致命缺陷,建议同时保留单维度指标和一票否决规则。

小团队先做哪个维度?

优先做规则明确、容易取数的完整性、有效性和唯一性,再补时效性。准确性需要参照源,一致性需要跨系统比对,投入更大,可以等关键数据元素确定后再做。先选一个影响业务决策的数据集,跑通闭环再扩展。

维度和规则、指标有什么区别?

维度是观察角度,例如完整性;规则是判断标准,例如收货地址不能为空;指标是按对象、时间窗和粒度汇总后的数值,例如订单必填字段完整率。三者按顺序落地,维度才不会停在概念上。

参考资料

  • 全国标准信息公共服务平台:《信息技术 数据质量评价指标》GB/T 36344-2018,https://std.samr.gov.cn/gb/search/gbDetailed?id=71F772D82DFCD3A7E05397BE0A0AB82A
  • 全国标准信息公共服务平台:《信息技术 数据质量评价指标》GB/T 36344-2026,https://std.samr.gov.cn/gb/search/gbDetailed?id=5F6AFB193F597748E06397BE0A0A0B47
  • 中国软件评测中心:《助力夯实数据底座,强化数据质量测评》

准备好构建你的 Agent 团队了吗

立即体验 Agentic Engine, 让 AI 成为真正的团队成员

ThinkingAI Big Logo
电话咨询