ThinkingAI Logo
返回博客列表

数据血缘属于哪类元数据?数据溯源与元数据的关系

数据血缘通常归入技术元数据,运行记录落在操作元数据。文章拆开业务、技术、操作三类框架,说明血缘是元数据的关系视图,辨析数据溯源与元数据的区别,并给出指标异常排查和落地补齐记录的方法。

2026-11-179分钟
数据血缘属于哪类元数据?数据溯源与元数据的关系

数据血缘通常被归入技术元数据,部分运行记录会落到操作元数据。把它当成与业务元数据、技术元数据并列的第四类,在多数分类框架里找不到对应位置。更常见的做法,是把血缘看作元数据之间的一组关系记录,再根据记录内容决定它挂在哪个元数据域。

这个问题容易混淆,原因在于不同资料用了不同的分类框架,产品菜单也常把血缘单独列为一个模块。元数据、数据血缘和数据质量的关系,经常在实际项目里一起出现。本文先把分类讲清,再解释数据溯源和元数据的关系,最后用一个指标异常场景说明三者如何配合。

一、数据血缘属于哪类元数据

先给结论。数据血缘通常落在技术元数据,运行时产生的任务状态、执行时间、最近修改人等信息落在操作元数据。血缘图本身是一层关系记录,负责把分散在不同元数据里的表、字段、任务和处理逻辑串起来。

IBM 把数据血缘描述为跟踪一段时间内数据流的过程,用来查看数据在管道中的来源、变化和最终去向。Microsoft Purview 的文档也说明,数据目录要从各数据系统提取移动、转换和操作元数据,再拼成血缘视图。两家厂商的描述指向同一件事,血缘依赖元数据,尤其是技术元数据和操作元数据。

DAMA-DMBOK 第二版把元数据分为业务元数据、技术元数据和操作元数据三类。按这个框架,表结构、字段类型、SQL、ETL 转换规则属于技术元数据,血缘的路径和转换关系主要从这里长出来;任务跑了多久、成功还是失败、谁在什么时候改过,属于操作元数据。两类记录合在一起,才能回答一张报表的数据从哪里来、中间经过了什么。

也有资料把血缘整体归到操作元数据,理由是它记录的是数据加工和流转的历史。两种说法都能成立,差别在记录范围和框架约定。企业需要统一的是内部文档和平台字段的口径,避免同一个词在不同团队里指向不同东西。

国内企业常用的分法会再多一类管理元数据,形成技术、业务、管理三类。技术元数据管数据源、表结构、血缘和影响分析;业务元数据管指标口径、业务术语;管理元数据管责任人、安全等级和生命周期。血缘仍然主要挂在技术元数据域,但它会引用业务元数据来解释指标含义,也会引用管理元数据来界定责任。

分类框架血缘主要落在哪还需要哪些元数据配合
DAMA-DMBOK 三类技术元数据记录路径与转换,操作元数据记录运行状态业务元数据解释指标与术语
国内常见三类技术元数据中的血缘与影响分析业务元数据、管理元数据
数据目录产品常作为独立功能模块展示底层仍依赖各类元数据

产品菜单里的位置不能直接当作分类结论。血缘被单独做成一个模块,通常是因为使用频率高、查询性能要求高,或者需要图数据库来存关系。它的数据来源仍然是元数据采集和任务解析。

1. 单归时怎么判断

如果内部制度要求血缘只能挂一个类别,可以按主要记录内容判断。记录表、字段、SQL 和转换关系,归技术元数据;记录任务运行、访问、修改人和时间,归操作元数据;两者都有时,在技术元数据域建血缘主记录,在操作元数据里保留运行明细。这样既方便技术团队维护,也不会让责任和审计信息散落。

二、为什么不同资料的说法不一样

差异主要来自三个地方。

第一,分类目的不同。技术团队关心能不能解析、存储和查询,血缘自然靠近技术元数据;治理团队关心谁负责、是否合规,血缘会被放进管理元数据;业务团队关心指标怎么算,血缘会和业务元数据绑在一起。

第二,记录粒度不同。表级血缘只回答表与表的关系,字段级血缘要追到列和转换表达式,任务级血缘还会带上调度和运行信息。粒度越细,越容易同时碰到技术元数据和操作元数据。

第三,产品包装不同。有的厂商把血缘放在元数据管理里,有的单独做血缘分析,有的把它并进数据资产目录。包装方式影响界面入口,不改变血缘依赖元数据这一事实。

国内正在制定的国家标准项目《数据流通溯源技术要求》也把数据血缘表示要求和数据溯源要求分开写,说明血缘是一种表示和记录方式,溯源是更上层的要求。这个项目由全国数据标准化技术委员会归口,目前处于制定阶段,引用时要注意版本状态。

三、元数据、数据血缘和数据溯源是什么关系

可以用三层来理解。

元数据是记录层,回答数据是什么、在哪里、什么结构、什么含义、谁负责。数据血缘是关系层,回答数据从哪里来、到哪里去、经过哪些转换、会影响谁。数据溯源回答某条数据由哪个实体、哪次活动、哪些人在什么时间产生或修改,能不能复现和审计。它既是一次追溯动作,也是一组可保存的证据。

W3C 的 PROV 系列标准把 provenance 定义为关于参与产生某项数据的实体、活动和人的信息,这些信息可以用来评估该数据的质量、可靠性和可信度。这个定义比单纯的数据流向更宽,包含人、活动、时间和版本。数据血缘更聚焦数据之间的路径和依赖,是溯源时最常用的一种结构化证据。

对象主要回答典型内容常用场景
元数据数据是什么、在哪、谁负责表结构、字段类型、指标口径、责任人找数、理解数据、权限管理
数据血缘数据从哪来、到哪去、影响谁源表、目标表、字段映射、转换规则根因排查、变更影响分析
数据溯源这条数据怎么产生、能否复现来源、处理活动、责任人、时间、版本审计、合规、质量认定

三者的关系可以概括为,元数据提供原料,血缘组织关系,溯源使用这些记录回答问题。数据溯源本身也会产生新的元数据,比如一次追溯用了哪个版本的血缘、发现了什么问题、谁做了确认。把这些记录留下来,下一次排查会更快。

数据血缘在中文资料里也叫数据血统、数据谱系,英文是 data lineage。数据溯源英文常写作 data provenance。实际工作中,两个词经常被混用。有的团队说溯源,指的是沿着血缘往上查;有的团队说溯源,指的是完整的来源证明。沟通时先确认对方说的是动作、记录还是能力,能减少很多争论。

1. 数据溯源算不算一种元数据

算。溯源过程中形成的来源、处理活动、责任人、时间和版本记录,本身就是元数据。它们可能分散在技术元数据、操作元数据和管理元数据里,也可能单独存成溯源日志。把它们集中管理,追溯时才有完整证据。

四、一个指标异常场景里的分工

假设一家游戏公司发现渠道 ROI 日报比前一天低了 30%。运营先看到的是报表,接下来要判断是口径变了、数据错了,还是任务延迟。

  • 先查业务元数据。确认 ROI 的指标定义、统计周期、渠道归因规则有没有变更。口径变了,数字波动可能正常。
  • 再查字段级血缘。从报表指标往上追到 DWS 汇总表、DWD 明细表和 ODS 源表,看哪一段的输入或转换发生了变化。
  • 查操作元数据。核对任务运行时间、执行状态、最近修改人和版本。任务延迟或重跑,也会让日报数字异常。
  • 最后形成溯源记录。把结论、证据、影响范围和修复动作写下来,关联到对应的表和指标。
缺哪类记录会卡在哪
业务元数据不知道指标怎么算,无法判断波动是否正常
技术元数据找不到上游表和转换逻辑,只能凭经验猜
操作元数据分不清是数据错、任务延迟还是人为修改
溯源记录问题修完后无法复盘,同类问题反复出现

这个场景里,血缘的价值是缩小排查范围,溯源的价值是留下可复核的证据。两者都需要元数据做底。

分析 Agent 进入取数流程后,这套记录还多了一个用途。Agent 需要知道指标口径、表是否废弃、数据由哪次任务产生,才能避免拿错表或给出无法解释的答案。ThinkingAI 的企业级知识库用统一指标口径和 ChangeSet 记录知识变更,让数据分析 Agent 的输出带有可追溯的依据;字段级血缘仍由数据平台和元数据系统提供,两者配合,才能把口径和链路都讲清楚。

五、企业落地时怎么归类、怎么补

先定分类目的,再定归属。对外沟通、跨部门协作,把血缘说明为元数据关系,业务和技术都容易听懂。内部制度需要落到具体域时,按记录内容拆分,技术关系和运行记录分开管。

补齐记录可以从最小集开始。

  • 表和字段:数据源、库表名、字段名、类型、注释。
  • 加工关系:源表、目标表、字段映射、SQL 或 ETL 任务、转换规则。
  • 运行信息:任务开始和结束时间、状态、重跑记录、最近修改人。
  • 业务含义:指标定义、统计周期、业务负责人。
  • 管理信息:数据责任人、安全等级、生命周期状态。

采集方式通常有三种,SQL 解析、调度日志解析、手工补录。前两种覆盖自动化任务,手工补录处理临时脚本、外部接口和解析不到的任务。血缘准确率很大程度取决于覆盖率,解析不到的任务如果没有登记,链路就会在暗处断开。

验收时问三个问题。任意一个核心指标,能不能在一次排查里说清来源和加工过程;上游字段变更,能不能列出受影响的下游报表;数据出现异常,能不能找到对应的任务运行记录和修改人。三个问题都能回答,说明元数据、血缘和溯源已经连起来了。

六、常见问题

数据血缘是技术元数据还是业务元数据

多数情况下归技术元数据,因为它记录表、字段、SQL 和转换关系。血缘会引用业务元数据来解释指标含义,但血缘记录本身仍偏技术。

数据血缘和数据溯源是一回事吗

两者有交集,范围不同。血缘描述数据之间的路径和依赖,溯源回答某条数据如何产生、能否复现。溯源会使用血缘,也会使用任务日志、责任人和版本记录。日常沟通里两者常被混用,落到制度和文档时最好分开定义。

元数据管理没做好,能先做数据血缘吗

可以先做局部血缘,解决一个具体问题,比如核心报表的字段级追溯。长期看,业务元数据和管理元数据缺口会让血缘图难以解释,采集覆盖也容易断。比较稳妥的顺序是,先围绕核心指标补齐元数据和血缘,再逐步扩展。

表级血缘和字段级血缘先做哪个

先做表级,能快速建立全局路径,适合影响分析和资产盘点。核心指标、财务口径、监管报表再做到字段级。字段级维护成本更高,按业务价值选择范围。

数据血缘需要记录哪些最小信息

至少记录源对象、目标对象、加工任务、转换规则、运行时间、责任人和版本。缺哪一项,排查时就可能断在哪一步。

AI Agent 取数为什么需要数据血缘

Agent 需要判断表是否可用、指标口径是否一致、数据由哪次任务产生。血缘帮助它避开废弃表和错误链路,溯源记录帮助使用者复核答案。没有这些信息,Agent 的回答很难被信任。

参考资料

  • Microsoft Learn,Data lineage in classic Data Catalog:https://learn.microsoft.com/en-us/purview/data-gov-classic-lineage
  • W3C,PROV Overview:https://www.w3.org/TR/prov-overview/
  • 全国标准信息公共服务平台,国家标准项目《数据流通溯源技术要求》:https://std.samr.gov.cn/gb/search/gbDetailed?id=56DC2A095F6D59E3E06397BE0A0AFEBA

准备好构建你的 Agent 团队了吗

立即体验 Agentic Engine, 让 AI 成为真正的团队成员

ThinkingAI Big Logo
电话咨询