ThinkingAI Logo
返回博客列表

数据质量管理平台会扫描哪些内容?

数据质量管理平台主要扫描已接入的数据值、元数据、码表、跨表关系和运行状态,通过数据剖析与规则校验检查完整性、唯一性、规范性、有效性、一致性、准确性和时效性。本文说明扫描边界、权限限制与选型验证方法。

2026-11-2010分钟
数据质量管理平台会扫描哪些内容?

数据质量管理平台扫描的是已经接入、获得读取权限、能够被解析的数据,以及围绕这些数据形成的结构、规则和关系。常见范围包括库表、字段、记录、文件、接口数据、元数据、码表、主外键关系和更新状态。平台通过数据剖析和规则校验,判断数据是否完整、唯一、规范、有效、一致、准确和及时。

扫描范围由接入、权限和规则共同决定。只接入业务库,平台看不到手工报表和外部数据;没有字段级权限,敏感字段可能只能看到脱敏值;没有定义业务规则,平台也判断不了某个值在业务上是否合理。选型时先问清扫描范围,比比较功能清单更有用。

如果还没搭起基本的数据质量管理流程,可以先参考数据质量管理的做法,从关键对象、规则、监控和整改开始。

一、数据质量管理平台会读取哪些对象

平台读取的对象可以分为六类。不同厂商的连接器、解析能力和权限模型不同,实际范围要以产品文档和试点结果为准。

对象平台通常读取的内容能回答的问题
数据值字段值、记录、主键、空值、重复值、格式、值域有没有缺失、重复、格式错误
表结构表名、字段名、类型、长度、精度、分区、注释结构是否符合标准,字段含义是否清楚
元数据技术元数据、业务元数据、管理元数据、血缘数据来自哪里,影响哪些报表
参考数据码表、字典、枚举、主数据、权威源值是否在允许范围内,编码是否统一
跨表关系主外键、参照关系、明细与汇总、跨系统同指标有没有孤儿记录,两边数据是否对得上
运行状态数据量、分区、更新时间、任务状态、延迟数据是否及时,负载是否异常

数据值、元数据、参考数据和跨表关系是四类核心扫描对象。结构化数据是主要对象,半结构化日志、JSON、接口返回和文件也能扫描,前提是平台有对应连接器和解析器。图片、音视频和自由文本通常只能做元数据或格式检查,语义判断需要专门模型。

平台还需要知道数据由谁负责、更新频率是多少、下游有哪些报表。缺少这些信息,扫描结果只能停在问题数量,难以定位到具体系统和责任人。

二、数据剖析在扫描什么

数据剖析解决的是先看清数据长什么样。IBM 把常见剖析分为结构发现、内容发现和关系发现三类。结构发现检查数据格式是否一致,内容发现查找空值、重复、异常值和格式问题,关系发现寻找数据集之间的关联。

具体到扫描动作,主要有三类:

  • 列剖析统计每列的空值率、唯一值数量、常见值、最小最大值和值模式,帮助判断字段的实际分布。
  • 跨列剖析寻找候选主键、函数依赖和字段之间的组合关系,帮助发现设计层面没有写进元数据的关系。
  • 跨表剖析检查外键、孤儿记录和基数关系,帮助判断两张表能否稳定关联。

剖析给出基线,规则给出判断。剖析结果告诉团队哪些字段问题集中、哪些规则值得先建、哪些关系需要业务确认,不能直接当作合格结论。中国软件评测中心在数据质量测评说明中也提到,自动化检查会分析数据内容、背景、结构和路径,识别数据成分、业务规则合规情况和数据间关系。这类结果更适合用来确定检查重点,再进入规则配置。

三、规则校验会检查哪些质量问题

剖析之后,平台用规则把数据要求变成可执行判断。常见检查可以按维度分组。IBM 在数据质量管理说明中常用准确性、完整性、一致性、时效性、唯一性和有效性六个维度。国家标准 GB/T 36344-2018 采用规范性、完整性、准确性、一致性、时效性和可访问性六个方面。分法略有差异,检查对象基本相通。

检查维度常见检查适用条件
完整性必填字段为空、记录缺失、分区缺失有明确的必填字段和记录范围
唯一性主键重复、组合键重复、重复记录业务上要求一条记录只出现一次
规范性类型、长度、格式、编码、日期格式有数据标准或接口规范
有效性值域、枚举、范围、业务逻辑组合有码表、阈值或业务规则
一致性跨表同指标、明细与汇总、跨系统同义字段两边口径和时间范围一致
准确性与权威源、业务凭证、外部参考数据比对有可核对的真值来源
时效性更新时间、延迟、数据新鲜度、任务完成时间有明确的时效要求
关系完整性主外键、孤儿记录、参照完整性表之间存在稳定关联
分布与数量行数突变、空值率突升、值分布漂移有历史基线,能排除业务波动

很多平台会把上述检查做成规则模板,也支持自定义 SQL、脚本或表达式。规则需要写清对象、判断逻辑、阈值、责任人、处理时限和复核方式。缺少这些字段,扫描结果很难进入整改。

1. 规范性、有效性和准确性有什么区别

规范性看数据是否符合约定格式和标准,例如日期统一为 YYYY-MM-DD、手机号长度为 11 位。有效性看值是否在允许范围或业务规则内,例如订单状态只能取几个枚举值、金额不能为负。准确性看数据是否与真实情况或权威源一致,例如订单金额与支付流水是否对得上。

规范性看格式,有效性看范围,准确性看真值。规范性和有效性可以由平台按规则自动判断,准确性通常需要权威源、业务凭证或人工核对。三类检查混在一起,容易出现格式正确、值也合法,但与真实业务不符的情况。

四、全量、增量和抽样扫描怎么选

扫描方式影响覆盖范围、资源消耗和发现问题的时机。

  • 全量扫描覆盖完整,资源消耗高,适合核心表、上线前验收和周期性盘点。
  • 增量扫描只查新增或变更分区,适合日常监控,前提是有可靠的时间戳或分区字段。
  • 抽样扫描成本低,适合探索和建立基线,不适合资金、监管、主键唯一性等零容忍项。
  • 实时或流式扫描适合资金、风控和核心事件,需要流处理架构和稳定的规则。

核心数据用全量或实时,日常监控用增量,探索阶段用抽样。扫描频率按影响分级。资金、库存、核心事件可以做到小时级或实时,核心报表可以日级,辅助分析可以周级。频率越高,告警和资源成本也越高,先确定业务能承受的响应时限。

扫描任务尽量走只读副本、离线库或限流窗口,避免和核心查询争资源。扫描结果要能下钻到问题记录,否则只能看到质量分,无法定位原因。如果问题主要出在采集环节,可以用数据采集 Agent在上报时检查格式错误、缺失字段和异常值,把一部分校验前移到接入阶段。

五、权限、脱敏和加密会限制哪些内容

平台只能看到它有权访问的内容。常见限制有四类:

  • 连接权限,没有网络、账号或证书,平台连不上数据源。
  • 行列权限,只能看部分表、字段或行,扫描范围随之缩小。
  • 脱敏与加密,平台看到的是掩码值或密文,能做格式和存在性检查,难以判断真实准确性。
  • 审计与合规,敏感数据扫描需要审批、日志和最小权限,不能为了覆盖率扩大读取范围。

这些限制来自数据安全要求,不能简单看作平台缺陷。选型时要确认平台是否支持行列级权限、字段脱敏、加密字段处理、操作审计和私有化部署。涉及个人信息、金融、医疗数据时,优先在客户自有环境内完成扫描和结果留存。

六、哪些内容平台扫描不到

平台能发现数据异常,不能替代业务定义和真实世界核对。以下问题通常需要人或外部资料补充:

  • 业务含义是否正确。字段叫收入,但含不含税、扣不扣退款,平台不知道。
  • 数据是否反映真实世界。没有权威源或业务凭证,准确性无法验证。
  • 没有接入的数据。个人表格、第三方黑盒系统、线下记录,平台看不到。
  • 没有定义的规则。业务人员知道某种组合不合理,但没人写成规则。
  • 图片、音视频、自由文本的语义。除非平台有专门解析模型,否则只能检查元数据和格式。
  • 组织与流程问题。录入习惯、责任不清、接口变更未通知,都会表现为数据问题。

AI 可以根据历史问题生成规则候选、做初步归因,但业务定义、阈值、责任人和高风险数据修改仍要由人确认。

七、选型时要验证哪些扫描能力

把功能清单换成可验证的问题,试点时更容易看出差距。

验证问题合格表现原因
能接哪些数据源覆盖现有库表、文件、接口、消息流,连接器有维护接不进来就扫不到
元数据和血缘是否自动采集能到字段级,能看到下游影响定位问题需要知道数据流向
是否支持数据剖析列级统计、模式识别、主外键候选、跨表关系先有基线,规则才不靠猜
规则能否自定义模板加 SQL、脚本或表达式,支持版本和阈值分级业务规则很难完全套模板
扫描方式是否可选全量、增量、抽样、实时按对象配置,能限流错峰不同数据的影响和时效不同
跨源一致性怎么做支持跨库、跨系统比对,能统一口径和时间范围很多问题出在两边对不上
权限和审计是否完整行列权限、脱敏、加密字段处理、操作日志敏感数据不能裸扫
问题能否闭环下钻到记录、关联血缘、告警、工单、复核扫描结果要能推动修复

用真实数据做小范围试点,比看功能演示更可靠。选 3 到 5 个关键对象,跑一轮剖析和规则,记录问题数量、误报率、定位耗时和修复路径。试点结果能说明平台在现有数据环境里的实际覆盖,也能暴露权限、性能和责任分工上的问题。

八、扫描结果如何用于 AI 分析

数据质量管理平台产出问题明细、规则通过率和质量趋势,这些结果是 AI 分析的上游输入。Agent 要做取数、归因和报告,先要知道哪些表可信、指标口径是什么、异常数据有没有被标记。

ThinkingAI 的企业级 AI Agent 平台 Agentic Engine 支持创建和管理 Agent、多 Agent 协作与私有化部署,已服务全球超 1500 家企业、接入产品超 8000 款。企业知识库用 SSOT 保证同一概念只有一处定义,通过 ChangeSet 让知识更新可追溯、可对比、可回滚,适合处理指标口径反复变化带来的规则争议。

如果指标定义分散在多个报表和 SQL 里,可以先做统一指标口径,再把质量规则挂到指标和字段上。扫描结果要接到语义、权限和整改流程,才能被 AI 稳定使用。数据质量平台负责发现异常,语义层和知识库负责解释异常,Agent 负责把定位、通知和复盘串起来。三层各司其职,扫描结果才有持续价值。

这些能力适合已经具备基本数据平台和明确数据责任人的团队。口径和流程尚未建立时,先补标准和责任,工具上线后才有稳定输入。

常见问题

数据质量管理平台会扫描所有数据吗

不会。平台只扫描已接入、已授权、能解析的数据。没有连接器、没有读取权限、没有网络打通的数据源,平台看不到。实际覆盖率取决于数据源范围、权限配置和扫描方式,选型时要按自己的数据环境验证。

数据剖析和规则校验有什么区别

数据剖析描述数据现状,统计空值、重复、格式、分布和关系,帮助建立基线。规则校验判断数据是否符合要求,输出异常记录。通常先剖析再定规则,规则运行一段时间后再用剖析结果调整阈值。

扫描频率越高越好吗

频率按业务影响设置。资金、库存、核心事件可以做到小时级或实时,核心报表可以日级,辅助分析可以周级。频率过高会增加资源消耗和重复告警,先明确问题出现后多久必须发现。

平台能自动写出业务规则吗

平台可以从剖析结果和历史问题中生成规则候选,AI 也能辅助归因。业务规则、阈值、责任人和例外情况仍要由数据负责人确认。没有确认的规则,容易产生大量误报或被业务绕开。

扫描出问题后会自动修复吗

多数平台先做告警、工单和问题明细,修复仍由责任人或数据开发完成。低风险、规则明确的字段可以做自动清洗或阻断,资金、监管、客户权益相关数据要保留人工确认、操作日志和回滚能力。

小团队需要马上上平台吗

先用脚本、调度和人工复核也能起步。选 3 到 5 个关键对象,写 10 到 20 条规则,跑一个月,看清问题分布和修复成本。对象增多、跨系统一致性难查、权限和审计要求提高时,再考虑平台。

参考资料

  • 中国软件评测中心,助力夯实数据底座,强化数据质量测评

准备好构建你的 Agent 团队了吗

立即体验 Agentic Engine, 让 AI 成为真正的团队成员

ThinkingAI Big Logo
电话咨询