数据质量控制规范,是一份把“数据能不能用”变成可检查、可追责、可复核的组织文件。它通常规定数据质量的评价维度、检查规则、阈值、责任分工、异常处置和记录要求,让团队在同一套口径下判断数据是否合格,发现问题后知道由谁处理、处理到什么程度。
公开标准中更常见的是数据质量评价指标、数据质量管理规范等名称。企业所说的数据质量控制规范,通常是内部制定的技术与管理文件,也可能叫数据质量管理办法或数据质量规则手册。它会在 GB/T 36344-2018《信息技术 数据质量评价指标》和 ISO 8000-61:2016 等框架下,结合自身业务补充具体规则。
读完这篇文章,你可以判断一份规范是在讲原则,还是已经能指导实际检查与修复。
制定企业内部的数据质量控制规范,可以先选定关键数据及用途,再明确检查规则和合格要求,分配执行与复核责任,并约定异常处理、验证和留痕方式。规范应说明适用业务和数据范围;涉及特定行业时,还要分别核对该行业的适用要求,不能把其他行业的检查阈值直接搬来使用。
一、它到底规定什么
数据质量控制规范的核心工作,是把业务对数据的要求翻译成可验证的条件。
比如支付业务要求“订单金额和支付流水要对得上”。这句话本身无法执行。规范要把它写成:订单表的支付金额不能为空,必须大于 0;订单金额与支付流水金额的差异率不超过 0.1%;差异率超过 0.1% 但不超过 0.5% 时触发橙色告警;超过 0.5% 时触发红色告警并暂停相关报表发布。下面这组阈值只用于说明写法,不代表行业标准。
中国软件评测中心在介绍数据质量测评时,把常见问题归纳为数据多源、处理环节异常和流程设置不当三个方面。规范的价值,在于把这些分散的问题变成统一的判断依据和处理路径。
它和一次性数据清洗也不同。清洗解决的是某批已经发现的问题,规范解决的是以后按什么标准发现、由谁处理、怎样确认问题已经关闭。
这里讨论的是企业业务数据的内部控制规范。制定时,可以先用一条关键规则试运行,再扩展到更多数据。
- 选定对象。写清业务用途、系统、数据表和需要检查的字段。
- 约定条件。说明检查规则、允许偏差及判断依据。
- 安排执行。确定检查时点、执行人,以及异常通知对象。
- 约定处置。区分修复、暂缓使用和例外审批,写清各自条件。
- 复核后发布。用样本验证规则和流程,保留批准、生效及变更记录。
一条规则可以先按下面的字段填写。它是内部文档的填写示例,不是行业统一模板。
| 字段 | 填写示例 |
|---|---|
| 检查对象与用途 | 支付订单与支付流水,用于核对报表金额 |
| 检查条件 | 按已确认的订单标识、统计周期和金额口径比对 |
| 异常处理 | 记录差异及影响范围,交给指定责任人核实 |
| 复核与留痕 | 按原规则复查,保留结果、处理人及规则版本 |
实际阈值、时限和权限由业务要求及适用依据决定,不能因为示例中出现某种写法就直接照搬。
二、数据质量控制规范通常包含哪些内容?
不同企业的模板不一样,要让规范能被执行,通常会覆盖四类内容。
1. 质量维度与评价指标
国家标准 GB/T 36344-2018《信息技术 数据质量评价指标》给出六项常用指标。它们回答的是“从哪些角度看数据质量”。
| 维度 | 判断什么 | 例子 |
|---|---|---|
| 规范性 | 数据是否符合数据标准、数据模型、业务规则或权威参考数据 | 订单状态是否在允许的枚举值内 |
| 完整性 | 按数据规则要求,数据元素是否被赋值 | 订单号、支付时间是否缺失 |
| 准确性 | 数据是否准确表示所描述真实对象的真实值 | 用户年龄与实名信息是否一致 |
| 一致性 | 数据与其他特定上下文中的数据是否矛盾 | 订单表与支付流水金额是否对得上 |
| 时效性 | 数据在时间变化中的正确程度 | 报表能否在约定时间内更新 |
| 可访问性 | 数据能否被访问 | 有权限的分析师能否及时取到数据 |
六项指标不需要平均用力。结算类数据更看重准确性和一致性,实时运营更看重时效性,对外共享还要看规范性和可访问性。规范应写明当前业务优先保障哪几项,以及为什么。
2. 质量规则、阈值与严重级别
指标告诉团队看什么,规则告诉系统怎么判断。
一条可执行的规则,通常要写清六件事:检查对象、判断逻辑、阈值、严重级别、责任人和触发后的动作。检查对象要落到具体的系统、表、字段或指标;判断逻辑要能写成校验脚本、SQL 或人工核对步骤;阈值要有业务依据;严重级别决定告警方式;责任人决定谁来处理;触发后的动作决定问题是阻断、复核还是记录。
“数据要准确”不是规则。“订单金额与支付流水金额的差异率不超过 0.1%”才是规则。阈值可以来自业务容忍度、历史基线、合同约定或监管要求。没有基线时,先记录当前水平,再逐步收紧,避免一开始就设定无法达到的目标。
3. 职责、流程与问题闭环
数据质量问题很少只靠一个团队解决。规范要写明数据所有者、业务数据责任人、数据开发与运维、质量复核人各自做什么。
一条常见的闭环是:定义规则,执行校验或监控,触发告警,分派责任人,修复问题,复核结果,关闭问题,复盘原因。每一步都要有输入、输出和时限。比如橙色告警要求在 1 个工作日内响应,红色告警要求在 4 小时内响应并通知数据负责人。这里的时限是示例,企业应按业务影响设定。
规范还要写清升级路径。责任人未在时限内处理时,问题交给谁;跨系统问题由谁牵头;影响对外报表或监管报送时,是否需要暂停发布。没有升级路径,告警很容易停在聊天窗口里。
4. 记录、审计与变更
规范本身需要版本号、生效日期、审批人和变更记录。规则、阈值、责任人或适用范围发生变化时,要保留变更原因和影响范围。
执行记录同样重要。谁在什么时间跑了哪条规则,发现了多少条异常,问题如何修复,例外是谁批准的,都要能追溯。否则同一个指标在不同时间用了不同阈值,事后很难解释报表为什么变化。
三、它和数据标准、质量指标、数据治理有什么区别?
这几个概念经常被放在一起,边界可以用一张表看清。
| 对象 | 主要回答的问题 | 典型产出 |
|---|---|---|
| 数据标准 | 数据应该长什么样 | 字段定义、类型、值域、编码规则 |
| 数据质量评价指标 | 从哪些维度衡量质量 | 规范性、完整性、准确性等指标 |
| 数据质量控制规范 | 怎么检查、谁来处理、何时关闭 | 规则、阈值、流程、责任、记录 |
| 数据治理 | 谁有权决定、如何长期管理 | 组织、制度、决策机制、考核 |
数据标准是判断依据。 没有字段定义、值域和编码规则,质量规则就缺少“什么叫符合”的参照。
质量评价指标是测量框架。它告诉你从完整性、准确性等角度衡量,但不会自动告诉你某张表在什么条件下算不合格。
数据质量控制规范把标准和指标落到执行层。 它要回答的是:检查哪张表、用什么逻辑、超过多少算问题、谁来处理、多久关闭。
数据治理的范围更大。它决定数据归谁管、跨部门争议谁拍板、质量目标如何纳入考核。控制规范是治理体系中的一份执行文件,不能替代治理机制。
ISO 8000-61:2016 提供的是数据质量管理的过程参考模型,标准本身不覆盖实现这些过程结果的详细方法。企业规范要补的,正是适合自身业务的规则、阈值和处置办法。
四、怎样判断一份规范能不能执行?
看一份数据质量控制规范是否可用,可以检查五个地方。
第一,对象边界是否清楚。 规范要写明覆盖哪些业务域、系统、表和字段,不写“所有数据”这类无法落地的范围。第一批对象通常选影响资金、合规、核心报表或客户体验的数据。
第二,规则是否可验证。 每条规则都应该能写出校验脚本、SQL 或人工核对步骤,并给出明确的通过和不通过条件。只能写成“加强检查”的条款,无法验收。
第三,阈值是否有依据。 阈值要能追溯到业务容忍度、历史基线、合同或监管要求。规范可以设两级或三级阈值,但要说明每一级对应什么动作。
第四,责任和时间是否明确。 每条规则都要有责任人、响应时限、修复时限和复核人。跨团队问题还要写升级路径。
第五,例外和变更是否可追溯。 谁能批准例外,例外多久失效,规则改动由谁审批,旧版本如何保留,这些都要写清。
反过来,以下几种写法通常难以执行:只写原则,不写规则;只有指标,没有阈值;有告警,没有责任人;有责任人,没有关闭标准;规范发布后长期不更新。
五、规范落到系统里,需要什么支撑?
规范是组织约定,系统是执行载体。 规则要跑起来,通常需要元数据、统一指标定义、数据血缘、调度、告警、工单和版本管理。
其中,统一口径是很多质量问题的起点。同一个“活跃用户”在增长、运营和财务团队各有定义,报表对不上时,很难判断是数据错了还是口径不同。
ThinkingAI 企业级知识库把企业文档、报表等知识加工成结构化、可追溯的资产,用单一事实来源机制保证同一概念只有一处定义,并通过 ChangeSet 记录每次更新,支持对比和回滚。这类机制可以让指标定义、口径和规则版本保持一致,减少同一指标多种说法带来的质量问题。它承担的是定义和版本管理的一部分,不能替代组织对规则、阈值和责任的约定。
ThinkingAI 已服务全球 1500 家企业,接入产品超 8000 款。跨产品、跨团队的数据环境越复杂,统一口径和可追溯的版本管理越重要。
常见问题
1. 数据质量控制规范是强制性的吗?
多数情况下,它不属于国家强制标准,约束力来自企业内部制度、合同约定、行业监管或地方标准。判断一份规范是否必须执行,要看发布主体、适用范围和引用它的制度文件。
2. 小团队也需要单独写一份吗?
不一定写成厚文档。先用一页纸写清三到五个关键数据对象、每条对象的检查规则、责任人和处理时限,就可以开始运行。文档厚度不影响执行效果,规则能否落地才影响。
3. 数据质量控制规范和数据质量报告有什么区别?
规范是事前约定,说明检查什么、怎么判断、谁来处理。报告是某个周期的执行结果,说明实际发现了多少问题、处理到什么程度。报告应引用规范中的指标、规则和阈值,否则不同周期的结果无法比较。
4. 谁来牵头写这份规范?
数据治理或数据平台团队适合牵头,业务数据责任人负责定义规则和阈值,技术团队确认规则能否校验,合规与审计团队确认记录要求。业务不参与,规范容易变成技术部门的独角戏。
5. 规范多久更新一次?
业务规则、系统结构、监管要求或阈值发生变化时就应更新。常见做法是至少每年复核一次,高风险数据对象可以更频繁。每次更新都要保留版本和变更原因。
参考来源
- 中国软件评测中心,《助力夯实数据底座,强化数据质量测评》,2022 年 6 月 16 日,https://cstc.org.cn/info/1081/245525.htm
- BSI,BS ISO 8000-61:2016《Data quality — Data quality management: Process reference model》,2016 年 11 月,https://knowledge.bsigroup.com/products/data-quality-data-quality-management-process-reference-model-1






