ThinkingAI Logo
返回博客列表

数据质量评价标准是什么?如何判断数据是否达标?

数据质量评价标准不只是六个维度,还包括业务规则、指标口径、阈值和结论规则。文章说明如何按用途选维度、设定阈值、抽样检查,并用单项阈值、加权总分和一票否决项判断数据是否达标,附游戏运营场景示例与常见误判。

2026-11-2012分钟
数据质量评价标准是什么?如何判断数据是否达标?

数据质量评价标准,是把“数据好不好用”变成可检查、可复现判断的依据体系。它要回答三个问题:从哪些方面评价,具体检查什么,差到什么程度算不达标。只记住六个维度,仍然给不出达标结论;把维度落到字段、口径和阈值上,标准才具备可执行性。

判断数据质量高低,常见的困难在于同一份数据换一个用途,结论就会变化。财务对账要求金额准确,运营分析要求事件完整,算法训练还会关注样本偏差。数据质量高低的差别,很多时候来自用途和口径不同。标准需要绑定用途,否则分数再细也难以支持决策。

GB/T 36344-2018《信息技术 数据质量评价指标》给出了国内常用的六维框架。全国标准信息公共服务平台显示,GB/T 36344-2026 已于 2026 年 10 月 30 日发布,将于 2027 年 5 月 1 日实施并全部代替 2018 版。当前仍以 2018 版为有效版本;新标准实施后,应以届时正式文本为准。

一、数据质量评价标准是什么

数据质量评价标准是一组用于判断数据是否满足特定使用要求的依据,通常包括评价维度、检查规则、指标口径、阈值、抽样方式和结论规则。

中国软件评测中心在公开的数据质量测评介绍中,把数据质量解释为数据对其期望目的的满足度,也就是从使用者角度看,数据满足使用要求的程度。这个解释说明了两件事:评价要绑定用途;满足度要能被衡量,否则无法比较和复评。

1. 指标和标准有什么区别

指标回答用什么量衡量,例如空值率、差异率、更新延迟。标准回答达到什么程度算合格,以及由谁、按什么范围、用什么结论来判定。只有指标没有阈值,报告只能描述现状;只有阈值没有口径,同一规则换个人执行就会得出不同结果。

2. 三层标准各自回答什么问题

  • 通用维度层回答从哪些方面看。六维框架提供了共同语言,让不同团队讨论质量时不至于各说各话。
  • 业务规则层回答具体检查哪张表、哪个字段、用什么逻辑。它把维度变成可执行的判断。
  • 场景阈值层回答差多少算不达标,以及判定后怎么处理。它把检查结果转成可用或不可用的结论。

三层缺一层,标准就会落空。只有维度,报告容易写成“完整性有待提升”,无法定位;只有规则,没有阈值,红黄绿一堆却无法下结论;只有阈值,没有绑定用途,阈值容易拍脑袋,过严产生告警疲劳,过松失去检查意义。

国家标准提供指标框架和指标说明,并不替企业规定一套适用于所有业务的统一达标线。同一张订单表用于财务对账和用于趋势观察,准确性与时效性的要求不同,阈值也应不同。

二、六个评价维度分别检查什么

数据质量维度是评价标准的观察角度。GB/T 36344-2018 给出六个一级指标,中国软件评测中心在公开的数据质量测评介绍中,也按这套指标解释评测报告。六个维度可以理解为六类问题。

维度判断问题常见检查出错后的典型影响
规范性数据是否符合数据标准、数据模型、业务规则、元数据或权威参考数据字段命名、格式、值域、码表、必填约束下游解析失败,口径分裂
完整性按数据规则要求,数据元素是否被赋值空值率、记录缺失、关键字段覆盖、数据量与上游对比用户或订单漏统计
准确性数据是否准确表示所描述真实实体的真实值抽样比对源系统或原始日志、重复率、异常值报表高估或低估
一致性数据与其他特定上下文中的数据是否矛盾跨字段、跨表、跨系统同一指标口径同一指标出现多个答案
时效性数据在时间变化中的正确程度更新延迟、数据落地时点、时序是否正确决策基于过期数据
可访问性数据能被访问的程度权限配置、接口可用性、查询耗时需要的数据取不到

六个维度是共同语言,不意味着每次全做。支付、监管报送、对外披露的数据,优先看准确性和一致性;实时推荐和运营监控,优先看完整性和时效性;跨部门经营分析,优先看一致性,背后往往是数据质量评估中最难统一的口径问题。维度选择要能对应具体业务风险,选不上的维度不必为了报告完整而硬算。

可访问性常被忽略。数据再准,业务在需要时取不到,仍然无法支撑决策。权限配置、接口可用性和查询耗时,都应当进入检查范围。

三、一条可执行的标准要写清什么

把维度转成数据质量规则,至少要写清六项内容。

  • 对象与范围。哪张表、哪个事件、哪个指标,统计哪段时间,哪些记录纳入,哪些排除。
  • 口径。分子、分母、去重键、单位、时区,以及缺失值和重复记录怎么处理。
  • 判定逻辑。与什么比较,差异如何计算,达到什么条件记为异常。
  • 阈值。可接受的上限或下限,以及阈值依据。
  • 责任与处置。谁确认异常,谁修复,多长时间响应,如何复核。
  • 版本。规则版本、生效时间和变更记录,保证历史结论可解释。
项目写法示例
规则名称支付金额一致性
质量维度准确性、一致性
对象与范围近 30 天已支付订单,剔除测试订单和退款关闭订单
口径按订单号汇总支付流水,与订单实付金额比对;差异率等于差异订单数除以核对订单数
判定逻辑差异金额绝对值大于 0.01 元记为差异
阈值差异率不高于 0.1%,示例值
频率与责任日检,支付数据负责人,30 分钟内响应
复核连续 3 个周期通过,抽 100 单核对

口径是规则里最容易被省略、也最容易引发争议的部分。分子分母、时间窗、去重键和缺失值规则不写死,复算时很容易出现两套结果。口径反复变化时,统一指标定义和版本溯源比反复解释更有效。 ThinkingAI 的企业级知识库以单一事实来源 SSOT 保证同一概念在全系统只有一处定义,通过 ChangeSet 让知识更新可追溯、可对比、可回滚。它减少的是口径争议,业务仍需自己定义什么算正确。

四、阈值怎么定,才能判断达不达标

数据质量阈值是可接受质量水平的界线。它回答的是:在当前用途下,差多少仍然可用,超过多少必须处理。阈值定得是否合理,直接决定达标判定有没有意义。

1. 三类阈值各管什么

  • 硬阈值适合零容忍项,例如支付金额差异、监管报送字段为空、负库存。出现 1 条即触发。
  • 比例阈值适合允许少量噪声的字段,例如注册事件关键字段空值率不高于 0.5%,跨系统金额差异率不高于 0.1%。这些数字需要按企业自己的基线设定。
  • 波动阈值适合看趋势的指标,例如日活较过去 7 日均值波动不超过 20%,用于发现异常变化,不能单独证明绝对值正确。

2. 阈值从哪里来

  • 业务可容忍的差错量。错一条会影响多少钱、哪个决策、哪项合规要求,这是阈值的首要依据。
  • 历史基线。先跑 2 到 4 周,记录通过率和异常量,再逐步收紧。新规则一上来就设得很严,常见结果是告警淹没处理能力。
  • 上下游约定。接口字段、对账规则、报送口径,往往已经包含可接受范围。
  • 监管或合同要求。有明确要求时优先满足,不能自行放宽。

不同数据对象可以采用不同阈值。Microsoft 在 Purview 的数据质量说明中,把阈值分为规则级、数据资产级和数据产品级,并举例说明不同字段的合理期望并不相同:邮箱地址可能需要 99% 到 100% 的完整性,描述字段 80% 到 90% 可能已足够,财务交易可能要求 100% 的准确性。这个分层思路可以直接借用:单条规则有阈值,一张表有整体阈值,一个对外数据产品有承诺阈值。

阈值调整要留记录,写清变更人、原因和影响范围。分母为零、样本不足或口径刚变更时,结论记为待复核,不判通过。

五、判断数据是否达标的七个步骤

判断数据质量高低,可以按一条固定路径推进。每一步都留下记录,结论才可复现。

  • 明确用途和决策。写清这批数据要支撑哪个判断,例如预算调整、对账、监管报送或模型训练。用途不同,关键维度和阈值不同。
  • 圈定对象和范围。明确表、事件、指标、统计时间窗,以及纳入和排除规则。范围不清,后续指标和抽样都失去可比性。
  • 固定口径。把分子、分母、去重键、单位、时区和缺失值处理写入口径卡。口径变更要保留版本和生效时间。
  • 选维度、写规则。按风险选 2 到 4 个维度,把每个维度转成可执行判断。规则数量不必多,每条都要对应具体业务影响。
  • 定阈值和判定组合。为每条规则设单项阈值,再约定加权总分线和一票否决项。关键项不达标时,不能用加权总分抵消。
  • 执行检查并记录证据。高风险对象全量核对,中低风险按比例分层抽样并设样本量下限。记录样本量、检查时间、规则版本和异常明细。
  • 下结论、复评和留痕。按约定给出结论,写明适用范围;修复后按同一口径复评,连续多个周期通过再关闭。

1. 四类结论分别对应什么动作

结论判定条件后续动作
达标所有必检单项达到阈值,无一票否决项,加权总分达到约定线可用于既定用途,按周期复评
有条件达标无否决项,个别非关键项略低于阈值,已定位且有修复期限限定范围使用,限期修复并复验
不达标任一关键项低于阈值,或触发一票否决项暂停用于关键决策,修复后重新检查
待复核分母为零、样本不足、口径刚变更或数据源缺失补齐数据或统一口径后重算,不判通过

数据质量达标标准通常由三部分组合而成。关键项一票否决,支付金额、监管字段、用户身份等数据不允许用平均分稀释;加权总分用于趋势和横向比较,不用于掩盖关键失败;单项接近阈值、样本代表性不足或触发否决项时,上调抽样比例或启动复验。

抽样通过只说明样本范围内达标,不能自动代表全量。结论要写明样本量和适用范围。需要对外披露或用于高风险决策时,优先全量核对。

六、一个游戏运营场景的判定示例

某游戏团队要用渠道投放日报和收入看板做当日预算调整。检查对象是近 30 天的注册事件表和支付订单表。团队先约定四条检查项。

检查项维度口径阈值示例等级
注册事件关键字段完整性完整性用户 ID、注册时间、渠道三个字段均非空的注册事件数除以注册事件总数不低于 99.5%P1
支付金额一致性准确性、一致性按订单号汇总支付流水与订单实付金额,差异订单数除以核对订单数不高于 0.1%P1
注册与登录用户关联一致率一致性能用同一用户 ID 关联到登录事件的注册用户数除以应关联注册用户数不低于 99%P2
数据落地时效时效性当日数据在次日 08:00 前完成落地100%P2

假设检查结果如下:支付差异率 0.03%,达标;注册事件关键字段完整率 99.1%,低于 99.5%,且渠道字段缺失集中在两个新投放渠道;关联一致率 99.4%,达标;数据在 07:40 完成落地,达标。

判定:注册事件完整性属于 P1 关键项,未达到阈值,整体结论为不达标。渠道字段缺失会直接影响投放归因,不能因为其他三项达标而用平均分抵消。 处理动作是暂停用渠道日报做预算追加,先修复两个渠道的采集参数;修复后连续 3 个周期复检,并抽 100 条注册记录核对;复检通过后再恢复使用。

表中的阈值和结果都是示例,用于展示判定过程,不代表行业水平,也不代表 ThinkingAI 客户的实际效果。

七、达标判定中常见的四个偏差

  • 平均分掩盖关键项失败。质量分 96 分,但支付金额还有未关闭的 P1 问题,不能判达标。总分适合看趋势,关键项要单独看。
  • 分母为零或样本不足时判通过。没有数据不等于没有问题。 应记待复核,补齐数据或统一口径后重算。
  • 一套阈值套所有字段。邮箱、手机号、描述字段、金额字段的容错空间不同,对外披露数据和探索性分析的要求也不同。阈值要跟着用途和风险走。
  • 把工具的红黄绿当成业务结论。工具默认阈值可以配置,颜色只表示分数区间。是否达标要回到用途、影响和责任人确认。

数据质量评价标准最终要落到可复现的判断上。维度提供观察角度,规则和阈值提供判断依据,结论与复评让标准持续有效。ThinkingAI 已服务全球超 1500 家企业,接入产品超 8000 款,在数据接入、行为分析和运营决策场景中,统一口径与可追溯的知识管理是标准稳定执行的基础。

常见问题

数据质量评价标准有统一的国家标准吗

有推荐性国家标准。GB/T 36344-2018《信息技术 数据质量评价指标》给出六维评价框架。GB/T 36344-2026 已于 2026 年 10 月 30 日发布,将于 2027 年 5 月 1 日实施并全部代替 2018 版。国标提供指标框架,不规定所有企业统一的达标线,企业仍需结合用途确定口径、阈值和结论规则。

六个维度都要做吗

不必。按用途和风险选择。资金、监管、对外披露优先准确性和一致性;实时推荐和运营监控优先完整性和时效性;跨部门经营分析优先一致性。未被选中的维度可以保留观察,不必每次全量计算。

数据质量分数多少算达标

没有通用分数线。要看数据用途、关键项和业务容忍度。比较稳妥的做法是同时设定单项阈值、关键项否决条件和加权总分线,三者都满足才判达标。95 分不一定达标,85 分也可能在某个辅助场景够用。

抽样检查能代表全量数据吗

只能代表抽样范围内的情况。高风险对象建议全量核对;中低风险可以分层抽样,并设样本量下限。结论要写明样本量、抽样方法和适用范围。样本不足或代表性受质疑时,应扩大抽样或复验。

小团队没有平台,怎么开始

选 1 个影响明确的指标,写 3 到 5 条规则,先用 SQL 和人工抽样跑两周。把口径、阈值、责任人和复评方式写进一张规则表。等规则稳定、异常量可控,再考虑自动化和平台化。

参考资料

  • 中国软件评测中心,《助力夯实数据底座,强化数据质量测评》
  • 全国标准信息公共服务平台,GB/T 36344-2026《信息技术 数据质量评价指标》,https://std.samr.gov.cn/gb/search/gbDetailed?id=5F6AFB193F597748E06397BE0A0A0B47
  • Microsoft Learn,Data Quality Thresholds for data quality rules in Microsoft Purview Data Governance

准备好构建你的 Agent 团队了吗

立即体验 Agentic Engine, 让 AI 成为真正的团队成员

ThinkingAI Big Logo
电话咨询