数据中台数据质量管理应围绕接入、模型、指标和服务四类关卡配置规则,将监控接到生产任务,并明确业务、技术和源系统的整改责任。发现异常后,按定级、影响评估、止血、定位、修复、回补验证和复盘处理,以规则结果和下游使用恢复作为关单依据。
中台调度面板全绿,业务方却在群里追问:报表里的付费金额为什么和财务系统对不上?这类场景在数据中台上线后并不少见。集成任务成功,只说明数据从源系统搬到了目标表,不能说明字段完整、口径一致、结果可用。数据中台数据质量管理要解决的,是让进入中台、经过加工、再对外服务的数据,在关键节点有人检查、有人负责、出问题能关闭。
规则表怎么设计、问题单怎么写,通用方法可以参考《数据质量管理怎么做?》。本篇把范围收窄到数据中台:多源接入、分层加工、指标汇总和服务输出这几段链路,质量规则应该配在哪,监控怎么和调度接上,问题又如何跨团队整改。
一、为什么中台任务成功,数据仍然不可用
集成链路看的是吞吐量、调度成功率、失败重试次数,质量看的是数据内容是否符合业务规则。任务成功只能证明数据被搬过去了,证明不了搬对。一个字段在源端就是空的,接入任务照样会成功;一批订单重复入湖,加工任务也可能正常跑完。
中台的问题还会沿链路放大。重复订单在明细层只是几条异常记录,进入收入指标、结算报表和对外 API 后,可能变成少计收入、重复分账或客户看到错误账单。修复时要追多张表、多个任务和多个下游,成本比在接入层拦截高得多。
中台团队常见的两个做法都不太可持续:只配几条空值规则,覆盖不了业务逻辑;或者把源系统的录入问题全部揽到自己身上,最后变成数据团队长期替业务擦数据。要把质量管理做稳,先得把责任线划清。
| 检查方式 | 能回答的问题 | 回答不了的问题 |
|---|---|---|
| 调度任务状态 | 任务有没有跑、跑了多久、是否重试 | 数据内容对不对、口径是否一致 |
| 数据量监控 | 行数是否异常、是否空表 | 字段是否完整、业务逻辑是否成立 |
| 质量规则校验 | 指定对象是否满足阈值和业务规则 | 规则没覆盖到的问题 |
二、数据质量由谁负责
中台的数据质量通常涉及三类角色。源系统与业务录入方负责字段定义、录入规范、接口内容和业务状态;中台数据开发负责接入校验、加工逻辑、指标实现和服务配置;数据产品或服务使用方负责说明什么算对、验收结果和优先级。小团队可以兼任部分角色,但高风险修复与验收应有必要的独立复核,不能只靠同一人自行签字完成。
每个关键数据对象至少要有三个名字:业务责任人、技术责任人、验收人。业务责任人决定口径和可接受范围,技术责任人负责规则、任务和修复,验收人确认问题是否真的关闭。只有技术责任人,规则容易变成开发自测;只有业务责任人,问题又落不到具体任务。
中台团队能直接修的是加工逻辑、调度配置、服务参数和临时过滤。源端录入缺失、接口字段截断、业务系统状态错误,需要回传给源系统和业务方。回传时附上触发规则、异常样本、影响范围和期望修复时限,比在群里说一句“源数据有问题”有效得多。
核心报表和对外 API 还要有服务约定,写清数据产出时间、字段完整性要求、可接受延迟和故障通知方式。服务约定不必覆盖所有数据,先覆盖资金、合规、核心经营报表和客户可见的数据。
三、质量规则应放在哪些环节
按表配规则,表越多规则越多,重复和漏配也跟着增加。更稳的做法是先找中台链路上的四个关卡,每个关卡只检查最适合在那里发现的问题。
| 关卡 | 位置 | 主要检查 | 典型规则 |
|---|---|---|---|
| 接入关卡 | 源系统到原始层 | 数据是否到达、字段是否齐全、主键是否重复、格式和值域是否合法 | 源端与原始层行数对账、必填字段空值率、订单号唯一性、金额非负 |
| 模型关卡 | 原始层到明细层、汇总层 | 关联是否命中、业务逻辑是否成立、跨表是否一致 | 用户表关联命中率、支付时间不早于下单时间、订单状态枚举合法、订单与流水金额一致 |
| 指标关卡 | 汇总层到指标层 | 分子分母口径、汇总关系、跨报表一致性 | 日活不大于月活、各渠道 GMV 之和等于总 GMV、同一指标在不同报表一致 |
| 服务关卡 | 指标或模型到报表、API | 是否按时产出、结果是否为空、字段是否完整、下游是否可用 | 核心报表 8 点前产出、API 返回行数不为零、必填字段完整率、下游调用失败率 |
表中规则还需说明适用条件:日活与月活应使用一致的月份和用户定义;渠道金额汇总须避免交叉归属;合法的零结果不能直接判成接口故障。
接入关卡解决数据有没有到、干不干净,模型关卡解决加工逻辑对不对,指标关卡解决口径和汇总是否一致,服务关卡解决业务拿到的是不是可用结果。同一类问题只在最靠前能拦截的关卡配置强规则,下游保留必要的兜底规则,避免一张表配十几条重复检查。

图1:数据中台的质量关卡
国家标准 GB/T 36344-2018《信息技术 数据质量评价指标》把数据质量分为规范性、完整性、准确性、一致性、时效性和可访问性六个维度。这套维度适合作为团队共同语言,不适合变成六套规则模板。资金和结算对象重点看准确性与一致性,行为数据重点看完整性与时效性,主数据重点看唯一性和一致性。可访问性更多涉及权限、授权和脱敏,通常由权限体系承接,不必混进内容质量规则。
每条规则要写清对象、业务含义、质量维度、校验逻辑、阈值、严重等级、责任人、响应和修复时限、复核方式、规则版本。中台场景再补两个字段:规则所在的链路关卡,以及失败后影响哪些报表、指标或 API。字段不多,但能决定告警来了以后有没有人知道该找谁。
规则来源可以从四类材料里收:数据标准里的字段约束、业务系统中的状态流转、历史问题单里的高频异常、核心报表的口径说明。新规则可安排观察期,例如两周,记录通过率和异常样本后调整阈值;强制性的安全与合规要求仍按相应规则执行。阈值一开始就卡得很紧,告警会淹没有效信息;放得太松,规则又没有检查价值。
四、质量监控与告警怎么配置
质量监控要跟数据生产任务绑定,不能只靠人工抽查。常见的做法是先用规则模板定义检查逻辑,再把模板应用到具体表和字段,设置阈值形成监控规则,最后把规则与调度任务关联。任务运行成功后自动触发校验,失败后按规则强弱决定告警还是阻塞下游。
| 规则类型 | 适用对象 | 失败后的动作 | 使用边界 |
|---|---|---|---|
| 强规则 | 资金、合规、核心报表、对外 API | 告警并阻塞下游任务 | 只给影响明确、误报可控的检查,避免阻断正常生产 |
| 弱规则 | 业务决策数据、运营分析、辅助字段 | 告警并生成问题单 | 适合新规则和波动较大的指标,先观察再收紧 |
| 旁路扫描 | 大批量接入、实时流、非阻塞场景 | 数据先入库,质检并行执行并标记异常 | 不能让质检拖慢生产,但要保证扫描覆盖和结果可查 |
强规则不是越多越好。资金差异、监管字段为空、核心报表无数据,适合强规则;探索性字段缺失、辅助标签不规范,用弱规则更合适。强规则失败会阻塞下游,误报一次就可能让业务整天拿不到数据,配置前要用历史数据回放,确认阈值不会频繁误伤。
告警要分级,并且绑定处理入口。下表的等级、通知方式与响应时间是项目配置示例,应按业务风险、值守安排和服务约定确认。
| 等级 | 适用范围 | 通知方式 | 响应时限 |
|---|---|---|---|
| P1 | 资金、监管报送、核心报表、对外 API | 电话加值班群 | 30 分钟内 |
| P2 | 业务决策和运营动作 | 群消息加工单 | 4 小时内 |
| P3 | 辅助分析和体验优化 | 日报汇总 | 1 个工作日内 |
告警降噪可以先用四条规则:同一规则、同一对象在 30 分钟内合并为一条;系统维护窗口内静默,维护结束后补跑一次;连续两个周期触发才升级,P1 不参与延迟升级;每条告警必须绑定责任人和处理入口,不能只发到一个大群。告警数量不是管理成绩,核心对象的规则覆盖率、告警响应率和问题关闭率更值得看。
血缘信息要跟告警一起出现。看到某张汇总表异常时,系统要能列出它依赖哪些上游表、影响哪些指标和报表、哪些 API 正在使用。没有血缘,团队只能靠人问人,定位时间会拉长,回补范围也容易拍脑袋。
五、数据质量问题如何整改
一条质量问题从发现到关闭,建议固定走七步:发现与定级、确认影响范围、止血、定位根因、修复、回补与验证、关单与复盘。步骤看起来多,最花时间的是前三步和最后一步。

图2:质量问题整改与复盘
问题单至少要有这些信息:问题编号、触发规则、数据对象、发现时间、影响记录数、影响金额或报表、涉及的下游任务和 API、严重等级、责任系统和责任人、初步根因、止血方案、修复方案、复核人和关闭时间。字段完整,跨团队协作才有共同依据。
根因通常落在四层,处理方式不同。
| 根因层级 | 典型症状 | 主要责任方 | 处理动作 |
|---|---|---|---|
| 口径定义 | 同一指标在不同报表数值不同 | 业务责任人、指标负责人 | 统一定义、修改规则和指标说明 |
| 源端录入 | 必填字段为空、状态错误、重复客户 | 源系统、业务录入方 | 回传问题、修正录入、补历史数据 |
| 接入传输 | 字段截断、编码错误、时区偏移、丢包 | 接口提供方、接入开发 | 修接口、补采、重跑接入任务 |
| 加工调度 | 关联条件错误、任务延迟、重复计算 | 中台数据开发 | 修 SQL、调整依赖、回滚任务、回补分区 |
修复顺序建议先止血,再修源头,再评估回补,最后补规则和文档。止血可以是标记异常数据、暂停报表、回滚任务、临时过滤或切换备用数据源。临时过滤要记录范围和失效时间,源端修好后及时撤掉,避免临时规则变成永久补丁。
历史数据是否回补,按影响范围决定,不能默认全量重跑。先确认受影响的时间分区、对象和下游,再小范围验证,确认口径和结果无误后扩大。回补前保留备份和回滚方案,涉及资金、监管和客户权益的数据,要有业务和财务确认。
关单应同时核对几个方面:
- 规则复验: 在约定的观察周期内通过校验和对账。
- 数据验证: 按风险确定全量核对或抽样方案,写清样本单位、数量与通过条件。
- 下游恢复: 受影响报表和API已按需重跑,并由使用方确认。
- 根因处理: 修复已经上线,相关规则、指标说明或操作文档已更新。
- 复核留痕: 复核人检查证据后确认关闭。
连续三个周期、抽查100条或5%只能作为特定测试方案的示例,不是通用关单标准。只改异常数据而不处理根因,同类问题仍可能再次出现。
同类问题在 30 天内复发两次,建议升级为机制问题,交给数据负责人或数据治理委员会评审。复发往往说明流程、接口或系统约束没有改,继续按单点问题处理,团队会一直救火。
六、数据质量效果如何衡量
数据中台质量管理至少看四个指标:关键对象规则覆盖率、规则通过率、平均修复时长、30 天复发率。中台场景再加两个:下游服务受影响次数和影响时长,以及问题在服务出口前被拦截的比例。前者衡量业务实际受到的冲击,后者衡量质量关卡有没有前移。
| 指标 | 定义 | 用途 |
|---|---|---|
| 关键对象规则覆盖率 | 已配置规则的关键数据对象占全部关键对象的比例 | 看有没有漏管,不看规则总数 |
| 规则通过率 | 按周期统计各等级规则的通过情况 | 看整体趋势和重点对象 |
| 平均修复时长 | 从告警触发到复核关单的时间 | 看跨团队协作效率 |
| 30 天复发率 | 同类问题关闭后 30 天内再次发生的比例 | 看根因有没有修掉 |
| 下游服务受影响次数 | 质量问题导致报表、API 或业务中断的次数 | 看业务实际损失 |
| 服务出口前拦截比例 | 在报表和 API 输出前被规则拦下的问题占比 | 看质量关卡是否有效 |
质量分可以做趋势,但要和未关闭问题一起看。P1 规则还有未关闭问题,质量分再高也不能算达标。报告分三层:管理层看趋势、重大风险和资源投入;数据团队看异常明细、责任人和处理进度;业务方看自己对象的质量情况和待确认事项。只发一张总分截图,过两周就没人看了。
七、已有中台如何启动质量治理
如果中台已经上线,质量工作不必从全域普查开始。先守住业务最敏感的服务出口,再往接入和模型层补规则,见效更快,也更容易获得业务支持。
- 列出 3 到 5 个关键数据对象和服务出口,优先选资金、合规、核心经营报表和客户可见的 API。
- 为每个出口写一组最小规则,先覆盖完整性、一致性和时效性,跑两周基线,记录通过率和异常样本。
- 把规则接到调度任务上,区分强规则和弱规则,配置告警等级、责任人和处理入口。
- 建问题单和关单标准,先跑通一条从告警到复核的完整链路。
- 每月复盘一次,把高频问题往上游关卡前移,再扩大对象和规则范围。
团队规模小,可以先把出口兜底做好,再补源端校验。反过来先在全域铺规则,通常会出现规则很多、告警很多、业务感受不到变化的情况。
工具的顺序也类似:规则库和调度、监控告警、工单和血缘、可视化。流程没跑通就先上平台,常见结果是多了一套看板,问题还是靠人找。AI 可以承担一部分重复工作,比如从历史问题单生成规则候选、异常出现后列出可能涉及的源表和任务、生成周报和复盘材料,以及编排重复的通知和重跑动作。口径确认、责任人指定、关单签字和高风险数据修改仍要由人完成。
如果团队已经在使用ThinkingAI 的企业级 AI Agent 平台 Agentic Engine,可以在确认工具接入与权限后,验证哪些重复工作适合交给Agent辅助。数据采集 Agent 可以参与埋点方案、采集代码和接入校验;企业知识库可整理指标定义、业务术语和规则文档,为Agent提供可检索、可引用的上下文;统一口径仍需业务负责人审核,版本、审批与回滚机制应按实际部署核对。ThinkingAI 已服务全球超 1500 家企业、接入产品超 8000 款。工具能减少重复劳动,前提是团队已经明确数据责任人和质量规则。
理解企业智能体的能力与责任边界,可参阅什么是企业级AI Agent。
常见问题
1. 数据中台的数据质量由哪个团队牵头?
业务方负责定义标准和验收,中台数据团队负责规则、监控、跨系统协调和加工修复,源系统与 IT 负责录入规范和接口修复。没有专职治理团队时,先指定一名有跨部门协调权限的数据负责人牵头,关键对象再配业务责任人。
2. 质量规则是不是越多越好?
规则数量不代表管理水平。每条规则都要对应一个业务影响,有阈值、有责任人、有复核方式。长期不触发、没人看的规则应定期下线。规则库建议每季度评审一次,保留仍然有效的部分。
3. 强规则和弱规则怎么选?
资金、监管、核心报表和对外 API 适合强规则,失败后阻塞下游;业务决策数据和辅助分析适合弱规则,先告警和派单。新规则先用弱规则观察两周,确认误报可控后再考虑升级。
4. 源系统数据有问题,中台团队要不要先修?
中台团队可以先做临时过滤或清洗,保护下游使用,同时把问题回传源系统和业务方,附上规则、样本和影响范围。临时处理要记录范围和失效时间,源端修好后撤掉,不能默认由中台长期兜底。
5. 质量监控应该实时还是按调度周期?
按业务影响选择。资金、库存和实时风控适合实时或小时级;核心报表按日;辅助分析按周。实时流可以用旁路扫描,核心服务出口用强规则拦截,不必让所有数据都走同一频率。
6. AI 能自动修复数据质量问题吗?
AI 可以辅助生成规则候选、做初步归因、整理问题单和报告,也能执行低风险的重复动作。资金、监管、客户权益相关数据的修改仍要人工确认,自动修复要限定范围、保留操作日志,并具备回滚能力。
参考资料
- 国家市场监督管理总局、中国国家标准化管理委员会. GB/T 36344-2018《信息技术 数据质量评价指标》.
- 阿里云. 数据质量概述. https://help.aliyun.com/zh/dataworks/user-guide/data-quality
- 贵州省大数据发展管理局. 《贵州省数据质量评估体系》顺利通过专家论证. 2021-05-19. https://dsj.guizhou.gov.cn/hdjl/rdhy/202105/t20210519_86420923.html






