ThinkingAI Logo
返回博客列表

数据质量管理平台如何用于数据质检?

数据质量管理平台把数据质检变成可重复执行的流程:选对象、配规则、设触发、看结果、处理异常、复检关闭。文章拆解每一步的输入、完成信号和常见失效点,并说明平台选型与运行指标。

2026-11-2012分钟
数据质量管理平台如何用于数据质检?

数据质量管理平台用于数据质检,核心是把“数据是否合格”的判断变成一套可重复执行的流程:选对象、配规则、设触发、看结果、处理异常、复检关闭。配规则之前,先把业务要求写成可执行的数据质量规则,再交给平台运行。平台负责执行、记录和提醒;业务负责人定义什么算合格;数据团队负责定位和修复。

如果只把平台当成跑 SQL 的工具,质检很容易停在告警。要让质检有用,需要把每一步的输入、责任人和完成信号写清楚。不同平台的功能名称和界面不同,下面按通用流程说明,具体菜单和字段以所用平台当前版本文档为准。

一、数据质量管理平台在质检中做什么

数据质检可以理解为用一组规则检查数据是否满足使用要求,并把不符合要求的数据找出来。平台在质检中承担四类工作:管理检查对象、执行质量规则、保留检查结果、推动问题闭环。它把数据质量监控从分散的脚本、报表和人工核对,收拢成可配置、可调度、可追踪的任务。

IBM 在数据质量平台的公开说明中,把数据探查、数据清洗、监控与校验、根因分析和系统集成列为核心能力。放到质检场景里,这些能力分别对应看数据结构、修已知问题、持续检查、定位问题来源和接进现有数据链路。

平台能力在质检中的作用缺失后的表现
对象与元数据管理找到要检查的表、字段、分区和负责人不知道该查什么,范围靠口头约定
规则配置与执行把质量要求变成可运行、可复用的检查每次靠人写 SQL,结果口径不一致
结果记录与告警保留每次运行结果,异常通知到人问题发现晚,处理过程没有留痕
问题跟踪与复检记录根因、修复和复检结果同类问题反复出现,关单靠感觉

平台也有边界。它不能替业务判断某个字段为空是否可接受,也不能保证所有异常都能自动修复。平台的价值在于把一次检查变成可重复运行的流程,让规则、结果和责任都留得下来。

二、开始质检前要准备什么

质检失败常见于准备阶段:边界没有说清,规则写得再细也很难执行。开始配置前,先确认四件事。

  • 用途和合格标准。 同一张订单表,用于财务结算和用于趋势观察,容忍度不同。先写清这张表支撑哪个业务动作,出错会影响谁。
  • 权限和账号。 确认平台能访问目标数据表或数据集,数据库表还需要对应的数据账户权限;告警渠道和接收人要提前可用。
  • 责任人。 每张核心表至少有一个业务负责人和一个数据负责人。异常发生时,平台知道通知谁,团队知道找谁确认。
  • 基本上下文。 表的更新频率、上游任务、分区字段、关联报表和血缘信息。没有血缘也能做质检,但定位影响范围会更慢。

第一批对象宜少而关键,先覆盖交易、用户主数据和一张关键报表,跑通后再扩表。先跑通一条链路,再扩表。

三、第一步:确定质检对象和范围

质检对象可以是数据库表、数据集、指标或报表,也可以是接口和服务。对象不同,检查重点不同,不要用同一套规则覆盖所有数据。

对象层级典型对象检查重点建议频率
核心交易、资金、核心报表完整性、准确性、一致性、时效性每次更新后
重要用户主数据、关键指标唯一性、枚举值、行数波动每日或每小时
一般分析宽表、探索数据空值率、格式、行数每日或每周

范围要落到可执行的条件。分区表写清分区表达式,数据集写清时间窗和业务线,避免每天手工改日期。可以用时间宏或参数,例如 dt = 昨天、region = '华东'。范围写进配置,后续复检才能用同一口径重跑。

完成信号是四项信息能落到具体人和具体条件:检查对象、数据范围、运行频率、责任人。范围要写进配置,不要留在口头约定里。

四、第二步:把质量要求写成规则

2019 年 1 月 1 日实施的国家标准 GB/T 36344-2018《信息技术 数据质量评价指标》,把数据质量评价分为规范性、完整性、准确性、一致性、时效性和可访问性六个维度。这些数据质量评价指标可作为覆盖检查的起点。质检规则可以先按这六类做覆盖检查,再落到具体字段和业务逻辑。

一条可执行的规则,至少写清七件事:检查对象、目标字段、判断逻辑、阈值、触发等级、处置动作和负责人。缺少处置动作,规则就只是一条查询;缺少负责人,异常就没人接。

质量维度常见问题规则示例
规范性格式不统一、类型错误正则校验、枚举值、字段类型检查
完整性必填字段为空、记录缺失非空率、行数对比、关联记录检查
准确性与真实业务事实或权威来源不符与支付流水、主数据或业务凭证对照核验
一致性跨表或跨系统同一对象不一致关联比对、汇总金额核对
时效性数据延迟、未按时产出到达时间、延迟阈值、产出时间检查
可访问性权限不足、接口不可用权限检查、接口可用性检查

不少平台把规则分为强规则和弱规则。强规则不通过时,质检任务失败,可能阻断下游任务;弱规则只发预警,不影响下游继续运行。关键完整性和业务底线适合强规则,观察性指标先放弱规则。先用弱规则观察一到两周,确认阈值合理后,再把关键规则升级为强规则。

阈值不要照搬模板。先看业务底线,再看历史数据分布。比如核心字段的空值率要求是 0,还是允许 0.1%;行数波动是正负 10%,还是正负 30%。这些数字要由业务影响决定,并在试运行后调整。

五、第三步:设置触发方式和执行频率

质检任务常见的手动、定时、事件和离线任务触发方式,适合不同场景。选错触发方式,质检要么漏跑,要么在数据还没准备好时白跑。不同平台的执行方式不同,背后的数据质量规则引擎决定了规则能否复用、如何触发和怎样阻断。

  • 上游任务完成后触发: 适合数仓明细表和报表链路。上游产出完成,质检紧接着运行,异常可以在下游使用前被发现。
  • 定时触发: 适合每天、每周固定更新的表。按数据更新节奏设置,不要所有表都用同一个时间。
  • 数据更新事件触发: 适合数据集更新后立即检查,能否使用取决于平台和对象类型。
  • 手动触发: 适合新规则试跑、问题复检和临时排查。
  • 离线任务节点触发: 把质检作为开发任务中的一个节点,适合在发布前做质量卡点。

频率跟着数据更新和业务使用时间走。日更表每天跑一次,核心报表在发布前跑,实时数据按窗口检查,观察类数据可以每周跑。全量扫描成本高,优先用分区或增量范围。

新规则先试运行。用历史分区跑一遍,看看异常数量和误报情况,再发布为正式任务。强规则会阻断下游,发布前要准备好回填、重跑或临时放行的路径。质检最好卡在数据被使用之前,避免等报表出错后再补查。

六、第四步:看懂质检结果

质检结果要先分清任务状态和检测状态。任务执行成功,只说明检查跑完了;检测状态才说明有没有规则被触发。腾讯云 WeData 的公开文档就把这两个状态分开:实例执行状态表示任务是否执行成功,检测状态表示是否至少有一个规则被触发。

结果状态含义处理动作
通过任务执行成功,所有规则在阈值内记录结果,按计划继续
异常任务执行成功,至少一条规则超阈值看异常明细,判断影响,安排处理
失败任务本身没有跑完,例如权限、SQL 或资源问题先修任务,再判断数据是否受影响
未运行没有按计划触发,或任务被关闭检查调度、依赖和任务开关

异常明细至少看四项:异常行数、异常字段、异常占比、影响对象。影响对象包括下游表、报表、指标和业务动作。核心交易、资金、合规相关的问题优先处理;观察类问题可以排期。

告警要收敛。同一张表、同一条规则在短时间内重复触发,可以合并通知;同类问题大量出现时,先判断是否为上游变更导致的批量异常。告警渠道可以用邮件、钉钉、飞书、企业微信或自定义渠道,关键是接收人明确、升级路径清楚。任务成功不等于数据合格,先看检测状态,再看异常明细。

七、第五步:处理问题并复检关闭

数据质量问题处理可以按一条固定路径走:确认是否误报、定位根因、修复数据或任务、回填或重跑、复检、关闭。每一步都留下记录,下一次遇到同类问题才有参照。

  • 确认是否误报。 先看数据源是否发生已知变更,规则阈值是否过严,过滤条件是否漏掉了合法业务场景。
  • 定位根因。 常见原因包括上游系统发版、埋点或上报错误、ETL 逻辑变更、数据源缺失、权限或延迟问题。有血缘信息时,先沿链路往上游查。
  • 修复。 该改代码的改代码,该补数据的补数据,该调整规则的调整规则。误报也要处理,不能直接忽略。
  • 回填或重跑。 涉及覆盖生产数据时先备份,按分区回填,避免整表覆盖。强规则阻断了下游任务,要确认回填完成后再恢复。
  • 复检。 用同一规则、同一范围、同一时间窗口重跑,对比历史实例,确认异常数量降到阈值内。
  • 关闭。 记录根因、影响范围、修复动作、责任人、处理时间和预防措施。关单标准是复检通过;只关掉告警不算完成。

数据质量复检要用同一规则、同一范围重跑,才能判断问题是否解决。

八、怎么判断平台用起来了

判断这条数据质检流程是否有效,不看规则数量,也不看告警数量。看六个过程指标:

  • 核心对象覆盖率: 核心表和核心报表中,已配置质检的比例。
  • 按时执行率: 计划运行的质检任务中,按时完成的比例。
  • 异常发现时间: 从数据产出到告警发出的时间。
  • 平均关闭时长: 从告警到复检通过的时间。
  • 误报率: 误报告警占全部告警的比例。
  • 重复问题率: 同类问题在一段时间内再次发生的比例。

这些指标要按业务域拆开看。核心交易链路的覆盖率和关闭时长,和探索数据的要求不同。每周看一次异常和关闭情况,每月盘一次规则,每季度复盘对象、阈值和责任分工。

规则库也需要维护。长期没有业务价值、长期没有异常、或者已经被新规则替代的规则,可以下线;新增规则要有明确的业务需求和处置人。质检的成果看问题发现和关闭效率,不看规则数量。

九、常见的失效点有哪些

  • 只配规则,不配接收人。 异常发到群里,没人认领,最后变成聊天记录。
  • 一次上太多规则。 告警风暴会让团队忽略所有通知,关键异常也被淹没。
  • 阈值照搬模板。 业务场景不同,合理波动范围不同,照搬会带来误报或漏报。
  • 质检不接调度。 数据已经进入报表,质检才跑,发现问题时已经影响决策。
  • 只有数据团队负责。 业务不参与定义合格标准,异常处理容易变成数据团队单方面承担。
  • 没有复检。 告警关了,问题还在,下一批数据继续出错。

这些问题的共同点是流程没有闭合。平台能提供任务、规则、告警和记录,闭合动作仍要由人完成。告警没有人接,质检就只是一份运行记录。

十、平台怎么选,才适合做质检

选平台先看它能不能把规则、调度、告警和问题记录串起来,再看功能清单。可以从七个方面判断:

  • 对象覆盖: 是否支持数据库表、数据集、指标或报表等实际检查对象。
  • 规则表达: 是否支持空值、唯一性、枚举、值域、格式、行数波动、跨表一致性和自定义 SQL。
  • 触发方式: 是否支持定时、上游任务完成、数据更新事件和手动触发。
  • 告警与协作: 是否能按级别通知到人,是否支持告警收敛和问题跟踪。
  • 权限与审计: 平台权限和对象权限是否分开,操作和结果是否留痕。
  • 定位能力: 是否能结合元数据和血缘缩小影响范围。
  • 成本: 全量扫描和增量扫描的资源消耗,是否在可接受范围内。

独立的数据质量平台、数据中台的质量模块、分析平台内置的质量能力,适用条件不同。数据源多、链路长、需要跨团队协作的企业,通常更需要独立平台或专门模块;数据团队较小、对象集中在少数分析表的企业,可以先用现有平台的内置能力,把流程跑通再评估。

ThinkingAI 已服务全球超 1500 家企业,接入产品超 8000 款。在数据进入分析链路之前,ThinkingAI 的数据采集 Agent可以把埋点方案、事件与属性规范和代码生成串起来,并通过数据采集计划校验上报数据与方案是否一致。源头偏差减少后,质检规则才更容易稳定在业务可接受的范围内。

对于需要私有化部署的企业,ThinkingAI 的 Agentic Engine 支持私有化部署,便于把数据、权限和审计留在企业自己的环境中。选平台先看它能不能把规则、调度、告警和问题记录串起来,再看功能清单。

常见问题

数据质检和数据质量评估有什么区别?

数据质量评估偏阶段性判断,通常会给出一组指标、评分或评估结论;数据质检偏日常执行,按规则持续检查数据,发现异常后进入处理流程。评估可以用来确定检查重点和阈值,质检负责把要求落到每天的任务里。

质检任务显示成功,为什么数据还有问题?

任务成功只说明检查跑完了,不代表所有规则都通过。要看检测状态和规则结果,也要检查规则覆盖范围。规则没有覆盖到的字段、链路或业务场景,平台不会自动发现。

质检规则越多越好吗?

规则数量多不等于覆盖好。每条规则都应该对应一个业务影响和处置动作。规则过多会增加误报、告警噪音和维护成本,反而让团队忽略关键异常。

平台能自动修复数据吗?

部分平台支持数据清洗、回填、任务阻断或自动重跑,但自动修复的范围有限。涉及覆盖生产数据、跨系统同步或合规数据时,要先备份、确认影响范围,并保留回退路径。

多久跑一次质检合适?

跟着数据更新频率和业务使用时间走。核心表每次更新后跑,重要表每日或每小时跑,观察类数据每周跑,实时数据按窗口检查。频率要兼顾发现时效和计算成本,不宜盲目提高。

没有专职数据治理团队,能先用平台做质检吗?

可以。先从 5 到 10 张核心表开始,把对象、规则、接收人、处理和复检跑通,再逐步扩展。专职团队可以在规则复用、阈值校准和跨团队协调上发挥作用,但第一步不需要等组织完全就位。

参考资料

  • 国家标准全文公开系统:GB/T 36344-2018 信息技术 数据质量评价指标。https://openstd.samr.gov.cn/bzgk/std/newGbInfo?hcno=D12140EDFD3967960F51BD1A05645FE7。

准备好构建你的 Agent 团队了吗

立即体验 Agentic Engine, 让 AI 成为真正的团队成员

ThinkingAI Big Logo
电话咨询