ThinkingAI Logo
返回博客列表

数据治理技术架构图详解:组件分工与数据流向

数据治理技术架构图需要同时表达组件分工、数据流向和治理控制点。文章给出可复用的五层架构、端到端数据流、节点卡模板与按阶段裁剪方法,并说明元数据、标准、质量、安全和 AI 语义层的落点。

2026-11-2013分钟
数据治理技术架构图详解:组件分工与数据流向

数据治理技术架构图要回答三个问题:数据从哪里来,经过哪些组件,在哪些节点被治理规则约束。图上的方框代表组件,箭头代表数据流,虚线代表标准、质量、安全和元数据要求如何作用到数据链路。

一张好用的图不需要画满所有系统。它要让架构、开发和业务在评审时看到同一件事:每个组件有明确职责,每段数据流有方向和输入输出,每个治理动作有落点。 如果还在确认治理范围、组织角色和总体框架,可以先看数据治理。

画法可以先记住一条主线:先按数据链路分层,再把治理组件挂到实际生效的节点,最后用数据流、控制流、反馈流三类箭头把关系画出来。 下面按组件分工、数据流向、绘制步骤和裁剪方法展开。

一、数据治理技术架构图到底画什么

数据治理技术架构图是对数据治理技术支撑体系的层次化表达。它把采集、存储、加工、服务等处理组件,与标准、质量、元数据、安全等治理组件放在同一张图里,并标出数据流和控制关系。

它常和另外三类图混在一起。下面这张表可以帮助区分。

图类型回答的问题主要元素不该出现的内容
数据治理技术架构图组件如何分工,数据如何流动,规则在哪里生效分层、组件、接口、数据流、控制流汇报线、会议机制
组织架构图谁决策、谁执行、谁监督部门、角色、汇报关系表、字段、加工任务
流程图一项工作按什么顺序完成步骤、判断、责任人系统分层
数据架构图数据如何建模、分布、存储和追溯主题域、模型、实体关系、分层平台运维细节

国家标准 GB/T 34960.5-2018 于 2019 年 1 月 1 日实施,它把数据治理要求分为顶层设计、治理环境、治理域和治理过程四部分。技术架构图主要承接治理域中的标准、质量、安全、元数据和生命周期要求,以及治理过程中的监控与改进。组织决策和制度流程仍要由治理架构和组织架构表达。

一张可复用的图,通常包含四类信息。

  • 分层与边界:哪些系统在图内,哪些暂不纳入。
  • 关键组件:每层放能力组件,不把所有产品功能铺上去。
  • 三类流向:数据流、控制流、反馈流。
  • 责任与证据:关键节点由谁负责,用什么结果验收。

组件名称可以不同,分层和控制点不能缺。 行业里没有一张统一模板,不同框架、厂商和行业的组件命名有差异。照搬某张图容易出现组件对不上现状的问题,可以复用的是分层方法、控制点和接口关系。

二、五层组件怎么分工

下面这套五层分工可以作为底图。企业按现有系统增删组件,层的顺序和接口关系不要省。数据治理组件分布在处理链路的不同位置,治理能力层是集中管理界面。

层级常见组件主要职责关键输出
数据源层业务库、日志、埋点、第三方接口、文件、消息队列提供原始数据和变更数据源清单、变更方式
接入与集成层批量同步、变更捕获、实时接入、文件传输、API 采集、调度把数据稳定搬到湖仓,做格式转换和初步校验接入任务、脏数据记录、延迟监控
存储与计算层数据湖、数据仓库、湖仓、计算引擎、调度分层存储和加工ODS、DWD、DWS、ADS 表
治理能力层元数据、血缘、标准、质量、主数据、安全、生命周期、资产目录把规则变成配置、校验和记录标准卡、质量结果、血缘图、权限策略、资产条目
服务与应用层BI、指标平台、标签、数据 API、分析 Agent把数据变成报表、接口和洞察报表、指标、标签、API、分析结果
五层数据治理技术架构与治理控制点示意

图 1:四层数据链路 + 右侧治理能力带,虚线为治理规则的生效点(通用示意,不代表特定厂商)。

1. 数据源层:先盘清有什么、怎么变

数据源层包括业务库、日志、埋点、第三方接口、文件和消息队列。画图前先确认四件事:主键、更新方式、时间口径、数据量与责任人。源系统说不清变更方式,后面的增量同步和质量校验容易返工。 常见缺口是字段没有说明、删除操作没有被捕获、不同系统时区不一致。

2. 接入与集成层:决定数据能否按时到达

接入层负责批量同步、变更捕获、实时消息订阅、文件传输和 API 采集。选择方式看三个条件:业务能接受的延迟、源系统的压力、是否需要捕获更新和删除。报表和月度经营分析走批量链路更稳定,风控、实时推荐和异常告警才需要实时链路。

这一层的控制点包括表结构变更告警、断点续传、脏数据归档、延迟监控和失败重跑。任务有负责人、延迟可监控、失败可重跑,接入层才算可运维。

3. 存储与计算层:把原始数据加工成可复用模型

常见分层是贴源层 ODS、明细层 DWD、汇总层 DWS 和应用层 ADS,不同企业的命名和层数会有差异。标准在建模时落地,包括命名、字段类型、主键、分区、更新策略和指标口径。血缘在加工任务运行时采集,记录表与字段的来源和去向。

实时链路可以和批量链路并行,共用同一套标准和元数据。核心表要有主题域、有血缘、有生命周期策略,缺一项,问题排查时都容易卡住。

4. 治理能力层:规则进入链路的控制点

治理能力层由多组组件构成,每组组件都要找到进入数据链路的节点。下面的分工可以作为组件清单。

治理组件主要作用进入链路的位置留下的证据
元数据与血缘记录表、字段、任务、指标的含义和关系接入、开发、发布、变更元数据版本、血缘图、影响分析记录
数据标准统一命名、类型、编码和指标口径建模、开发、指标定义标准卡、落标检查结果
数据质量按规则校验完整性、唯一性、及时性等接入后、加工后、服务前校验结果、告警、整改工单
主数据维护客户、产品、组织等共享实体跨系统整合、服务调用主数据编码、映射关系
数据安全分类分级、权限、脱敏、审计接入、存储、查询、导出分级标签、授权记录、审计日志
生命周期定义归档、保留和删除表设计、上线、下线保留策略、归档记录
资产目录登记可复用资产和责任人发布、服务资产卡片、责任人、使用记录

元数据管理负责记录表、字段、任务和指标的含义与关系,血缘是其中的关系视图。数据质量管理负责把完整性、唯一性、及时性等要求变成可执行的规则。两项能力都需要在开发流程里自动采集和校验,靠人工填表很难持续。

以华为云 DataArts Studio 为例,它的功能划分为管理中心、数据集成、数据架构、数据开发、数据质量、数据目录、数据服务、数据安全,数据质量检查覆盖完整性、有效性、及时性、一致性、准确性、唯一性六个维度。这类划分可以作为组件对照,实际采用哪些模块取决于企业现有平台和治理范围。标准、质量、安全、元数据和资产目录的协同方式,可以参考治理架构的协同接口。

5. 服务应用层:治理结果要被使用

服务层包括 BI 报表、指标平台、标签、数据 API 和 AI 分析应用。它承担两件事:把治理后的数据交付给业务,把使用中的问题反馈回治理层。同一指标在报表、接口和 AI 问数中结果一致,是服务层最直接的验收信号。

服务目录要写清数据范围、更新频率、责任人和授权方式。缺少这些信息,服务层会退化成取数窗口。调度、监控和审计跨越多层,画图时可以用纵向条带表示,不必为每个任务单独设层。

三、数据从源系统到应用怎么流

把箭头走一遍,才能发现组件之间的接口是否闭合。数据流向要从源系统一直走到应用出口,下面用订单支付数据举例,换成用户行为、库存或财务数据,路径相同。

  • 产生:业务系统写入订单支付记录,同时产生操作日志或消息。
  • 接入:批量任务或变更捕获把记录抽到 ODS,记录源表、批次、抽取时间和责任人。
  • 校验:接入后检查非空、主键唯一、金额范围、时间延迟;不合格数据进入脏数据区,不直接覆盖主表。
  • 标准化:清洗、去重、类型转换、编码映射,落到 DWD;字段命名和取值按标准卡执行。
  • 汇总:按主题建模,生成 DWS 汇总表,指标口径在指标层统一定义。
  • 服务:发布为报表、API 或标签,按角色授权,敏感字段脱敏,调用留下日志。
  • 反馈:业务发现问题后开工单,用血缘定位源表和任务,整改结果回到标准、质量规则或接入配置。

治理动作要跟数据动作成对出现。 数据每前进一段,图上就应有一个对应的校验、记录或授权动作;只有组件没有动作,图就只是系统清单。

阶段数据动作治理动作留下的证据
产生业务写入指定数据负责人、做分类分级源系统登记
接入抽取、加载接入规范、延迟和完整性检查任务日志、脏数据记录
加工清洗、建模标准落标、质量规则、血缘采集标准卡、校验结果、血缘图
服务发布 API、报表权限、脱敏、服务目录授权记录、调用日志
使用分析、决策问题工单、口径复盘工单、复盘记录、版本变更

图上的流向建议分三种。

  • 数据流用实线箭头,从源系统指向服务出口。
  • 控制流用虚线,从治理组件指向真正生效的处理节点。
  • 反馈流用点线,从质量结果、监控和审计回到治理运营。

三种流混成一条,读者就看不出规则在哪里生效。

实时链路只覆盖需要秒级响应的场景,比如风控、实时推荐和异常告警。报表和月度经营分析走批量链路,稳定性和成本更容易控制。两条链路可以共用治理组件,不必各建一套标准和质量规则。

四、图例、连线和节点怎么画

画图顺序建议从数据流开始,再补治理控制点,最后补责任和证据。

步骤要做的事完成信号
1 定边界写清主题域、系统范围和数据截止时间读者知道哪些系统在图内、哪些不在
2 画层画出源、接入、存储计算、治理、服务五层层间接口尽量不超过三类
3 放组件每层放 2 到 5 个能力组件每个组件能用一句话说清职责
4 连数据流主链路用实线箭头标方向从任一数据源能走到至少一个应用
5 加控制流用虚线把治理组件连到生效节点每条规则能找到落点和证据
6 补节点卡写输入、输出、责任角色和验收信号评审时不用再问谁负责
7 做图例标图形含义、版本号和维护人其他人能独立读图

节点卡是把图从示意变成可评审材料的关键。 关键组件至少写清下面几项。

字段示例写法
组件名实时接入
职责把订单库变更在约定延迟内送入 ODS
输入订单库变更日志
输出ods_order_change 表
责任角色数据平台接入组
控制点结构变更告警、延迟监控、主键唯一校验
验收信号延迟达标、失败可重跑、脏数据可查

示例中的延迟按企业自己的服务等级填写,不需要照搬固定数字。

画图时还有几条约定值得固定下来。颜色只区分层或流类型,并在图例中说明,不用颜色暗示成熟度或优先级。组件名用动词加对象,比如接入、清洗、建模、服务,避免只写产品名。总图放能力组件,产品名和版本放节点卡。目标架构和现状架构分开画,或者在同一张图上明确标注。图和正文使用同一套术语。

五、不同企业怎么裁剪这张图

五层是底图,企业不必一次建全。裁剪看三个条件:数据规模与时效、现有平台、治理问题的集中点。

企业阶段先保留可以后补判断条件
起步期源、接入、存储计算、一个报表出口、基础质量校验主数据、资产目录、自动血缘问题集中在取数慢、口径不一致
成长期增加元数据、血缘、标准、质量、权限生命周期自动化、服务目录多系统复用增加,问题定位依赖人工
集团多组织增加多租户、多集群、统一目录、分级授权按域细化模型和规则总部要统一口径,业务线要属地管理
实时业务在接入和计算增加实时链路实时质量规则逐步补齐延迟直接影响收入、风险或用户体验

起步期先把一条链路画通,比把五层画满更有用。选一个主题域,明确源表、ODS、DWD、指标和报表,配上三项质量检查和一份标准卡。图上每个节点都能找到负责人,这张图就能进入评审。治理范围、组织与路线怎么排,可以参考数据治理架构规划。

已有数仓的企业不必推倒重建。ThinkingAI 的 ThinkingEngine 提供数据开发、分析以及元数据、血缘、质量、安全等治理组件,跨源映射可以连接现有数据源,减少推倒重建。服务全球 1500 家企业、接入超 8000 款产品的背景,也意味着存量系统差异很大,架构图要按现状裁剪,不能照搬厂商的标准图。具体组件范围和部署方式,以当前版本和实际环境为准。

组织和制度底座怎么搭,可以参考企业级数据治理体系。

AI 分析场景要补语义层。分析 Agent 需要的不只是表结构,还需要指标定义、业务规则和权限边界。语义层要和指标、主数据、元数据共用一套定义,否则同一个问题会得到不同答案。ThinkingAI 的企业级知识库用 SSOT 机制保证同一概念只有一处定义,用 ChangeSet 记录变更,适合把口径同步给多个 Agent 的团队。具体怎么建,可以参考Agent 语义层建设指南。

六、常见错误与检查清单

常见错误表现修正
把组织架构当技术架构图上是部门和汇报线技术图画组件和流向,组织关系放节点卡
只有组件没有流向方框很多,箭头很少每条主链路至少画到一个应用出口
治理层悬空标准、质量单独一列,不连到任何节点用虚线连到建模、接入、服务节点
组件粒度过细每个产品功能都画上去总图按能力分组,产品名放节点卡
没有责任和证据评审时问谁负责、怎么验收每个关键节点补责任角色和验收信号
图和现状不一致图画的是目标,文字说的是现状标注版本,目标图和现状图分开

交稿前可以用下面八项自查。

  • 图的主题域和边界写清了吗?
  • 从任一数据源到应用,主链路能走通吗?
  • 每个治理组件是否找到了生效节点?
  • 每个关键节点是否有负责人和验收信号?
  • 实时和批量链路是否分开表达?
  • 权限、脱敏和审计是否覆盖服务层?
  • 图例、版本号和维护人是否齐全?
  • 图上的产品名、版本和来源是否可核验?

常见问题

数据治理技术架构图和组织架构图有什么区别?

技术架构图回答组件如何分工、数据如何流动、规则在哪里生效。组织架构图回答谁决策、谁执行、谁监督。两张图都需要,不建议合并。组织角色可以写进关键节点的责任卡,汇报关系留在组织架构图里。

数据治理技术架构图和数据架构图有什么区别?

数据架构图重点画主题域、数据模型、分布、集成和血缘。数据治理技术架构图重点画治理组件和控制点,以及它们如何作用到数据链路。两者在标准、元数据和血缘处重叠,可以画成两张图,也可以在一张图上用纵向治理带区分。

最少要画哪些组件?

至少要有数据源、接入、存储与计算、一个服务出口,以及元数据、质量和安全三组控制点。只做一个主题域时,一份标准卡和三项质量检查就能支撑起步。组件数量没有统一门槛,能把主链路和治理动作说清即可。

没有数据中台能画吗?

可以。现有数仓、BI、业务系统和脚本都能承载治理动作。平台化程度影响自动化和规模化,不影响这张图是否需要画。先用现有系统画清责任、规则和证据,再决定补哪些平台能力。

图要画到字段级吗?

总图画到能力组件和接口,字段级内容放到分域详图或节点卡。总图塞入大量字段会看不清主链路,评审时也很难发现接口缺口。核心指标可以单独做一张链路图,从源字段追到报表。

AI Agent 接入后要补什么?

补语义层、知识版本、权限审计和结果溯源。Agent 需要可检索、可追溯的业务定义,涉及敏感数据或写操作时要有授权和人工确认。原有五层结构仍然适用,治理层要增加语义和知识治理,服务层要增加对 Agent 调用的审计。

这张图多久更新一次?

发生数据源新增、主题域调整、平台替换、指标口径变更或组织责任变化时更新。即使没有大变化,也建议每季度检查一次,每年做一次完整复审。图上的版本号和维护人要能被找到。

参考资料

  • 国家市场监督管理总局、国家标准化管理委员会,GB/T 34960.5-2018《信息技术服务 治理 第5部分:数据治理规范》,2018-06-07 发布,2019-01-01 实施。

准备好构建你的 Agent 团队了吗

立即体验 Agentic Engine, 让 AI 成为真正的团队成员

ThinkingAI Big Logo
电话咨询