做数据质量评估,可以按明确用途与范围、制定质量规则、采集并校验数据、量化问题与业务影响、确定整改优先级、复核改进结果这六步推进。先把评估对象和可接受误差说清楚,再选择适用的质量维度;最终结论应能定位到具体数据、规则和责任人。
数据质量评估,是在明确数据用途和判断标准之后,对数据的规范性、完整性、准确性、一致性、时效性、可访问性等特征进行检查、量化和判断,并说明问题分布、影响程度和改进优先级的过程。它要回答的问题很具体:这批数据能不能支撑当前的数据分析、决策或业务动作,哪些地方不够,风险有多大。
GB/T 36344-2018《信息技术 数据质量评价指标》把数据质量定义为,在指定条件下使用时,数据的特性满足明确的和隐含的要求的程度。这个定义把判断锚定在指定条件和要求上。同一批数据用于月度经营复盘可能够用,用于实时风控或模型训练就可能不够。评估的第一步,是把用途、口径和可接受误差说清楚。
一次评估可以按下面的顺序执行,每一步都留下可复核的结果。
| 步骤 | 要做的事 | 留下的结果 |
|---|---|---|
| 1. 明确用途与范围 | 确定业务问题、数据集、时间窗和使用方 | 评估范围与用途说明 |
| 2. 确定规则与阈值 | 选适用维度,写清检查条件、分母和合格要求 | 规则清单 |
| 3. 执行检查 | 对约定范围做全量或抽样检查,记录检查方式 | 检查结果与问题样本 |
| 4. 判断影响 | 区分规则未通过和真正影响业务的问题 | 问题分级及优先级 |
| 5. 安排整改 | 明确责任人、处理动作与完成条件 | 整改清单 |
| 6. 复核结果 | 按同一范围和规则重查,说明前后差异 | 复评记录 |
举一个仅用于演示计算的例子:在约定的1,000条订单中,20条应填渠道的记录缺少渠道值,该规则通过率为980÷1,000=98%。这只能说明这一条完整性规则的结果,不能据此认定整批订单质量为98分;是否合格,还要看事先约定的阈值以及这些记录影响了什么用途。
一、数据质量评估的对象与标准
同样一张订单表,财务用来对账,最关心金额和状态是否准确;运营用来分析转化,更关心事件是否完整、用户能否关联;算法团队用来训练模型,还会关心样本偏差和时效。评估标准随用途变化,脱离用途谈数据好坏,结论很容易失真。
因此,一次评估至少要明确三件事:数据服务什么业务问题;判断质量高低的规则来自哪里;出现多大误差可以接受。规则可以来自数据标准、业务规则、元数据、权威参考数据,也可以来自团队已经确认的指标口径。
评估的产出通常包括问题清单、规则通过率、问题记录占比、影响分级和改进建议。报告里只写完整性 85 分,意义有限。能定位到哪个数据集、哪个字段、哪条规则、影响哪个业务环节,才方便后续处理。
实际执行时,可以把上述要求整理成一份顺序清楚的检查清单。
- 明确用途与范围。选定要支持的业务判断、数据集和统计周期。
- 确认质量规则。把适用维度转成检查条件,写清阈值及其依据。
- 执行检查。记录参与检查的数据范围、时间和各条规则的结果。
- 解释业务影响。定位问题记录、受影响指标和使用场景,不只汇报一个总分。
- 安排整改。按影响确定优先级,明确处理人与复核要求。
- 复查并留痕。按相同范围重新检查,记录结果及后续预防措施。
评估完成的标志,是问题能够被定位、处理和复核,而不仅是生成评分。下面的维度与报表示例,可分别放回这些步骤中使用。
二、评估对象要落到具体的数据集和用途
企业里说数据质量差,往往是一个笼统感受。落到评估,对象要具体:哪张表、哪个指标、哪条数据链路、哪个时间范围。比如近 30 天 App 活跃用户数这个指标,涉及埋点事件表、用户维度表、登录表和去重逻辑,评估对象就不只是一张表。
对象明确后,还要区分数据所处的阶段。原始采集层的问题,可能是埋点缺失或重复上报;加工层的问题,可能是关联键不统一或过滤条件写错;应用层的问题,可能是指标口径在不同报表里各写一套。阶段不同,检查方法和责任人也不同。
这也是评估和单纯查错的区别。查错关注某条记录对不对,评估还要判断问题是否普遍、是否影响关键用途、是否值得投入修复。
三、六个常见维度分别回答什么问题
国内常用的参考框架是 GB/T 36344-2018《信息技术 数据质量评价指标》,它给出 6 个一级指标。中国软件评测中心在公开的数据质量测评介绍中,也按这套指标解释评测报告。六个一级指标可以理解为六类问题。
| 维度 | 关注的问题 | 常见检查 |
|---|---|---|
| 规范性 | 数据是否符合数据标准、数据模型、业务规则、元数据或权威参考数据 | 字段命名、格式、值域、码表、安全规范 |
| 完整性 | 应有数据元素和记录是否被赋值 | 空值率、记录缺失、关键字段覆盖、数据量对比 |
| 准确性 | 数据是否准确表示真实实体 | 抽样比对、格式正确性、重复率、脏数据率 |
| 一致性 | 数据与其他上下文的数据是否矛盾 | 表内跨字段、跨表关联、跨系统同指标口径 |
| 时效性 | 数据在时间变化中的正确程度 | 更新延迟、时间点及时性、时序是否正确 |
| 可访问性 | 数据能否被访问和使用 | 权限配置、接口可用性、查询性能、使用门槛 |
六个维度不需要每次全做。对外披露的数据更关注准确性和可追溯性,实时推荐更关注时效性和完整性,跨部门经营分析更关注一致性,背后往往是统一指标口径的问题。维度的取舍要回到用途和风险,避免为了报告好看把所有指标都算一遍。
版本信息也值得留意。全国标准信息公共服务平台显示,GB/T 36344-2026 已于 2026 年 10 月 30 日发布,将在 2027 年 5 月 1 日实施并全部代替 2018 版。本文的六个维度按 2018 版说明,新标准正式实施时,应以届时有效的版本和正式文本为准。
四、评估结果怎么呈现才有用
评估报告的价值在于支持判断,不在分数本身。比较实用的报告通常包含四层信息。
- 规则层:每条规则检查了什么、通过率多少、样本量多大。
- 问题层:问题记录数、占比、典型样本、首次出现时间。
- 影响层:影响哪些指标、报表、模型或业务流程,按高、中、低分级。
- 行动层:修复建议、责任团队、预计工作量、复评方式。
判断一个问题要不要优先处理,可以看三个条件:是否影响关键决策或对外披露;是否已经造成客户体验、收入或合规风险;修复成本是否低于问题持续带来的损失。三个条件都指向高影响时,优先处理。影响有限的问题可以进入观察清单。
评估分数适合做趋势对比,不适合单独做绝对结论。不同数据集、不同用途的分数没有直接可比性。把本月和上月、同一业务链路的前后版本放在一起看,更容易判断改进是否有效。
五、数据质量评估和清洗、治理、审计有什么区别
这四个概念经常被混用。它们处理的是同一个问题的不同环节。
| 概念 | 主要回答 | 典型产出 | 与评估的关系 |
|---|---|---|---|
| 数据质量评估 | 数据怎么样、哪里有问题、影响多大 | 问题清单、规则通过率、影响分级、改进建议 | 为后续治理和清洗提供依据 |
| 数据清洗 | 怎么把具体数据改对 | 去重、补全、格式转换后的数据 | 通常在评估后执行,清洗后需要复评 |
| 数据治理 | 谁负责、按什么标准长期管 | 组织、制度、标准、流程、监控机制 | 评估是治理的输入和效果检验手段 |
| 数据审计 | 是否符合要求、能否举证 | 审计意见、核查记录、合规证据 | 可以参考评估结果,但不等于评估 |
评估解决发现问题,清洗解决修复问题,治理解决长期机制,审计解决独立核查与举证。四者可以互相配合,职责不能互相替代。只做清洗不做评估,容易反复修同一类问题;只做评估不做治理,报告会停在文件夹里;把评估当成审计,也可能高估它的独立性和合规效力。
六、一个例子:两张报表为什么对不上
假设运营日报显示昨日活跃用户 12.4 万,BI 看板显示 11.9 万。遇到这种差异,可以按下面的顺序检查。
- 明确口径:活跃的定义是登录、启动还是产生关键行为;统计时区是否一致;按用户 ID 还是设备 ID 去重。
- 检查完整性:事件表有没有小时级断档,用户维度表是否延迟更新,新用户数据是否漏接。
- 检查一致性:两张报表是否使用同一用户 ID、同一去重规则、同一时间窗口。
- 检查准确性:抽样比对原始日志,看是否存在重复上报、测试数据混入或格式错误。
- 检查时效性:看板更新时间是否早于日报截止时间,是否存在当天数据未完全落地。
假设检查发现,某类事件存在重复上报,导致约 3% 的高估;统计时区相差 1 小时,带来约 1% 的偏差。评估结论可以写成:重复上报和时区错位共同造成两张报表约 4% 的差异,影响日活趋势判断,不影响月度总量。修复采集去重规则和时区配置后,再按同一口径复评。
先明确用途和口径,再判断问题出在完整性、一致性、准确性还是时效性,最后把问题定位到具体环节。数字是示意,实际项目要以自己的日志和规则为准。
常见问题
1. 数据质量评估和数据质量评价是一回事吗?
在日常使用中,两者通常指同一类活动,都是对数据质量进行衡量和判断。评估更强调过程和判断,评价更强调度量结果和结论。本文把它们视为同一概念,具体叫法可以跟随企业内部的制度文件。
2. 数据质量评估一定要用工具吗?
工具能提高规则执行、抽样和监控的效率,开始评估并不需要先有一套工具。团队可以先选一个关键指标,用 SQL、抽样比对和人工复核把口径、问题和影响说清楚。数据量和检查频率上来后,再考虑自动化和平台化。
3. 数据质量评估多久做一次?
频率取决于数据变化速度和业务影响。核心经营指标、对外披露数据、实时推荐输入可以更频繁;变化慢、影响小的数据可以降低频率。除了固定周期,出现报表争议、系统迁移、口径调整或异常告警时,也适合触发一次专项评估。
4. 评估得分越高越好吗?
得分要服务于用途。满足业务要求、风险可控,通常比追求满分更合理。为了把 95 分提高到 99 分投入的成本,可能远高于问题本身带来的损失。评估的目标是找到值得修的问题,把每个维度都做成满分通常不经济。
5. 小团队应该从哪里开始?
从一个影响明确的指标开始。写清它的业务用途、计算口径、可接受误差和责任人,检查完整性、准确性和一致性这三个最容易直接影响结论的维度。把发现的问题、影响和修复动作记录成一张清单,比一开始铺设完整体系更容易落地。
七、结语
数据质量评估的价值,在于把数据有问题这句模糊判断,变成可复现的规则、可定位的问题和可排序的改进动作。它既是一份阶段性的体检报告,也是数据治理、清洗和审计之间的连接点。团队不需要一开始就覆盖所有维度,选一个关键指标,把用途、口径、可接受误差和责任人写清楚,评估结果才更容易转化为行动。
ThinkingAI 已服务全球超 1500 家企业,接入产品超 8000 款。在数据接入、用户行为分析和精细化运营的场景里,数据质量评估都应当先于报表结论和业务动作。数字能被解释、被追查、被复用,分析才有持续价值。
参考资料
- 全国标准信息公共服务平台,GB/T 36344-2018《信息技术 数据质量评价指标》,https://std.samr.gov.cn/gb/search/gbDetailed?id=71F772D82DFCD3A7E05397BE0A0AB82A
- 全国标准信息公共服务平台,GB/T 36344-2026《信息技术 数据质量评价指标》,https://std.samr.gov.cn/gb/search/gbDetailed?id=5F6AFB193F597748E06397BE0A0A0B47
- 中国软件评测中心,《助力夯实数据底座,强化数据质量测评》,https://cstc.org.cn/info/1653/245816.htm






