开发数据治理软件,应先确定治理对象、使用者、责任人和验收标准,再拆解元数据、标准、质量、血缘、目录和权限等模块。底座先做好任务、权限与审计,一期围绕真实场景打通采集、规则执行、问题定位和整改复核闭环,再逐步扩展系统适配与覆盖范围。
数据治理项目立项后,功能清单很容易越拉越长。元数据、标准、质量、安全、资产目录、数据服务,每一项都能找到理由。进入开发阶段,团队需要先回答四个问题:治理哪些系统和业务主题,谁每天使用,谁对数据负责,什么结果算一期完成。
国家标准 GB/T 34960.5-2018《信息技术服务 治理 第5部分:数据治理规范》在 2018 年 6 月 7 日发布,2019 年 1 月 1 日实施。它提出顶层设计、治理环境、治理域和治理过程的要求,并明确适用于数据治理相关软件或解决方案的研发、选择和评价。DAMA 的数据管理知识体系把数据治理放在 11 个知识领域的中心,元数据、数据质量、数据安全、主数据等能力围绕治理展开。两份材料适合当检查表,不能直接当成产品目录。
下面按工程路径展开:先定边界和验收,再拆功能域,随后说明关键模块的实现思路,最后给出开发顺序和自建与采购的判断。
一、先定边界,再拆功能
开发前至少要写清四件事。
- 治理对象:哪些系统、库表、报表、指标进入一期范围。对象清单比功能清单更能约束项目。
- 使用者:数据开发、分析师、业务负责人、安全合规人员各自要完成什么任务。
- 责任人:数据所有者、数据管家、标准管理员、质量管理员、安全管理员分别由谁担任。角色名称可以按组织调整,职责不能空着。
- 完成标准:数据能找到、定义能理解、问题能闭环、使用能审计,分别用什么证据证明。
一期范围可以收得很小。Datablau 的治理手册建议从一个范围清楚的治理目标开始,例如让某个业务主题的数据能够被理解、检查并申请使用。这个目标同时包含元数据、标准、质量和权限,做完就是一个可验收的闭环。
GB/T 34960.5-2018 把治理过程分为统筹和规划、构建和运行、监控和评价、改进和优化四个阶段。软件功能要能支撑这四个动作,制度、组织和考核也要同步安排。只开发工具,没有责任人和流程,采集、检核和审批都会停在页面上。
采集成功不等于覆盖完整,标准发布不等于字段落标,问题关闭不等于整改通过。 这三句话可以直接写进验收清单,提醒团队分别检查过程动作和实际结果。
二、功能拆解要看六个能力域
数据治理软件通常可以拆成六个能力域。拆分的依据是对象和责任边界,功能数量本身说明不了什么。
| 能力域 | 解决的问题 | 核心对象 | 主要使用角色 |
|---|---|---|---|
| 元数据与血缘 | 数据在哪里、怎么流转 | 系统、库表、字段、任务、报表、血缘边 | 数据开发、数据分析、平台管理员 |
| 标准与指标 | 名称、定义、口径不统一 | 数据元、代码字典、指标、模型、映射 | 标准管理员、业务负责人、数据开发 |
| 数据质量 | 数据是否符合业务规则 | 规则、检核任务、问题单、整改记录 | 质量管理员、数据责任人 |
| 数据安全与权限 | 谁能看、谁能用、如何留痕 | 分类分级、策略、脱敏规则、审批单、审计日志 | 安全管理员、合规、数据使用者 |
| 资产目录与数据服务 | 资产找不到、申请链路长 | 目录、资产卡片、API、申请单 | 业务用户、数据管家、接口负责人 |
| 平台底座 | 任务、权限、通知和运维缺少支撑 | 调度任务、租户、角色、通知、审计 | 平台管理员、运维 |
六个能力域由一条主链路串起来:发现资产、统一口径、检核质量、管控权限、提供服务、收集反馈。链路可以循环,不必按顺序一次做完。元数据是共同底座,标准、质量、安全和资产目录都要引用同一套对象标识。否则同一个字段在四个模块里有四个名字,后面的关联和统计都会失真。
腾讯云 WeData 的产品文档把数据开发、调度、质量和治理放在同一平台,强调 DataOps 协同、20 多种引擎接入,以及事前标准落标、事中质量监控、事后分析。美团酒旅在 2018 年 12 月公开的起源数据治理平台,由数据存储、查询、缓存、元数据管理、业务管理、安全管理、应用管理和对外 API 组成,支撑了酒旅内部 10 多个数据平台。两套做法的规模不同,模块边界都围绕元数据和数据责任展开。
功能拆解要先划清对象和数据责任,再决定模块数量。 一期可以用模块化单体,把采集、标准、质量、安全做成独立模块,通过接口和事件通信;等任务量和团队规模上来,再拆服务。
三、元数据与血缘怎么实现
1. 元模型先定,采集适配器后写
元数据管理的第一项工作是把元模型定下来。技术元数据描述系统、库、表、字段、分区、任务和报表;业务元数据描述业务名称、定义、指标口径、负责人和标签;操作元数据记录采集时间、任务状态、访问记录和变更历史。美团起源平台把元数据分为业务元数据与数据元数据,并用数据表、模型、指标、维度四个模块管理,这个划分可以直接参考。
对象标识要统一。建议给每个对象分配稳定 ID,记录来源系统、命名空间、原始名称和版本。字段级对象用表 ID 加字段名组合,避免只靠中文名匹配。元模型要支持扩展属性,不同企业总会有自己的资产类型和责任人字段。
采集层按适配器开发。常见来源包括关系库 JDBC、Hive Metastore、数仓引擎 API、报表工具 API、DDL 文件、调度系统和 OpenLineage 事件。一个适配器至少完成连接测试、对象发现、结构读取、标准化和差异比较五件事。采集任务支持全量和增量,失败可重试,限速可配置,黑名单要能排除临时表和测试库。
采集结果建议保留原始响应和标准化结果两层。原始响应用于排查解析问题,标准化结果供目录和血缘使用。每次采集记录任务状态、对象数量、失败项和耗时,采集成功与覆盖完整要分开检查。
2. 血缘先做表级,再按问题升级
血缘解决两个问题:上游变化会影响谁,下游异常应该往哪里查。表级血缘实现成本低,先记录任务、源表和目标表的关系,就能支撑资产地图和基础影响分析。美团起源平台的数据地图可以从表、模型、指标、应用、外部应用任意节点查看上下游,这类视图对开发和业务都有用。
字段级血缘需要解析 SQL。常见做法是用 ANTLR4 一类解析器生成抽象语法树,再逐个算子分析字段映射。SELECT 里的表达式、JOIN 条件、GROUP BY、窗口函数、子查询和 CTE 都要处理。不同引擎的 SQL 方言有差异,HiveQL、MySQL SQL、Spark SQL 需要扩展语法规则。DTStack 的一篇工程实践文章介绍了有赞的做法,先覆盖高频 SQL 模式,再逐步扩展复杂语法;动态拼接的 SQL 要在运行时取得实际执行的文本,静态解析覆盖不了。
血缘边建议记录源对象、目标对象、任务、表达式、解析时间、来源方式和状态。状态可以区分自动解析、人工补充和待确认。图数据库适合做多跳查询,关系表也能先跑起来,等查询复杂度上来再迁移。血缘图要能下钻到字段和任务,也要能回到原始 SQL。
血缘结果要记录解析时间和置信状态,影响分析不能把推测当成事实。 自动解析覆盖不到的关系,允许责任人补充,补充记录要留痕。上游变更时,先重新采集和解析,再通知影响范围内的负责人。
四、标准与指标怎么落地
1. 标准要能落到字段
数据标准管理的对象包括数据元、代码字典、命名规范、指标定义和模型规范。每个标准要有编码、中文名、英文名、定义、数据类型、值域、负责人、版本和状态。生命周期覆盖起草、审核、发布、变更和废止,起草人与审核人建议分开。
标准落地靠字段映射。把标准关联到具体库表和字段,运行核标任务,检查命名、类型、值域和必填项是否符合。映射可以借助名称相似度和历史映射做推荐,最终由责任人确认。标准引用统计要能看到关联的系统、表和字段数量,便于评估覆盖面。
标准发布数量不能当作落标数量。 发布只说明标准经过审核,落标要看字段映射和核标结果。标准变更后,还要检查已关联字段是否仍适用,质量规则需不需要同步调整。
2. 指标口径要绑定模型
指标是数据治理里最容易产生争议的对象。美团起源平台把指标信息分为基础信息和技术信息:基础信息由业务人员维护,包括名称、分类、统计频率、精度、单位、定义、计算逻辑、分析维度和监控范围;技术信息由数据开发维护,核心是指标与物理模型或虚拟模型的绑定关系。指标从普通指标变为认证指标,还要经过业务主题负责人和商分审核。
自己开发时,指标定义至少记录名称、业务定义、计算公式、统计粒度、时间窗口、过滤条件、维度、数据来源、负责人和版本。公式里引用的字段要能追溯到模型和血缘,维度要有统一维表。指标发布后通过语义层或 API 提供查询,避免每个应用各写一套 SQL。
指标变更要评估影响。公式、过滤条件或源模型变化,可能影响报表、看板和下游指标。血缘和引用关系要作为变更审批的依据,展示只是其中一部分。
五、数据质量怎么形成闭环
1. 规则分业务和技术两层
业务规则描述数据要满足什么要求,例如订单金额不能为负、用户注册时间不能晚于首单时间。技术规则把业务要求翻译成可执行的检查,常见形式有 SQL 查询、正则表达式和平台内置规则。
常见检核类型包括非空、唯一、值域、格式、一致性和及时性。一致性可以检查主外键、跨表金额汇总、状态与时间先后关系;及时性检查任务是否按时产出、分区是否齐全。每条规则要记录检核对象、范围、阈值、严重级别、责任人、调度周期和触发动作。
规则不宜一次写太多。先围绕核心指标和关键交易链路建规则,跑一段时间再补充。规则本身也要评审,避免把错误口径固化成告警。
2. 调度、告警和问题整改要连起来
质量任务要接入统一调度,支持依赖、重跑、补数和并发控制。检核结果要保留历史,能看趋势,也能回到具体异常记录。异常记录需要稳定标识,否则整改后无法确认同一条问题是否消失。
问题处理建议走一条完整链路:生成问题单、分派责任人、整改、复验、关闭。未通过复验的问题重新打开,原因和处理方法沉淀到知识库。执行成功、问题关闭、复验通过是三个不同状态,不能合并成一个已处理状态。
质量分要可解释。总分可以看趋势,具体判断还要回到规则通过率、异常数量、影响范围和整改时长。腾讯云 WeData 的产品文档提到事中质量监控和异常阻断,这类设计适合核心链路;阻断前要确认影响范围,避免一个规则误判拖住整条产线。
质量问题要能定位到具体记录和责任人,只有一个总分无法推动整改。
六、安全与权限怎么设计
1. 分类分级是策略的输入
数据安全从分类分级开始。分类回答数据属于什么业务类型,分级回答泄露或滥用会造成多大影响。分类分级结果要经过评审再发布,识别算法可以辅助,最终仍要有人确认。金融、医疗、政务等行业还要对照本行业的监管要求。
分类分级之后才是策略。访问策略要指定访问者、数据范围、用途、有效期和脱敏方式。静态脱敏用于落库或测试数据,动态脱敏用于查询和接口返回。策略发布后要用真实业务身份验证,不能只看管理员页面上的配置。
2. 三层权限要分别验证
数据治理软件的权限至少分三层。
- 功能权限:谁能进入哪个模块,能执行哪些操作。
- 目录与资产权限:谁能看到哪个目录、资产卡片和申请入口。
- 数据权限:谁能读取哪些行、哪些列,是否需要脱敏。
实现上可以用 RBAC 管理角色和功能权限,用行级、列级策略控制数据范围。审批流负责临时授权和跨域申请,审计日志记录访问、变更和导出。美团起源平台的权限管理分为页面权限、业务线与数据线权限、数据应用权限,配合审批和审计,这个思路适合多业务线组织。
如果通过网关访问数据库,要区分直连和网关两条路径。直连可能绕过脱敏策略,生产环境应尽量收敛入口。对外提供 API 时,应用、接口和授权要一一对应,调用记录可查。
目录里能看见资产,不代表能读取明细数据。 两类权限要分别测试,审计记录要能回答谁在什么时间、用什么身份、访问了哪些数据。
七、平台底座要提供什么
1. 调度、接口和可观测性
元数据采集、质量检核、标准核标、分类识别都是任务,需要统一调度。调度要支持 DAG 依赖、失败重试、补数、优先级、资源隔离和日志查看。任务状态和告警要能按责任人分派,避免所有异常都落到平台管理员。
服务层提供元数据查询、血缘查询、标准查询、质量结果查询和资产搜索接口。内部页面和外部系统使用同一套 API,权限在接口层校验。需要对外开放数据时,再增加数据服务模块,管理 API 发布、申请、授权和调用统计。
可观测性指标建议包括采集覆盖率、任务成功率、血缘解析成功率、质量问题闭环率、资产申请处理时长和接口调用失败率。对象数量只能说明规模,不能说明治理效果。
2. 架构从模块化单体开始
一套典型的分层是采集层、存储层、服务层和应用层。采集层放适配器和解析器,存储层放元数据、血缘、规则、问题和审计数据,服务层提供查询与权限校验,应用层放目录、工作台、看板和审批页面。任务事件可以走消息队列,避免采集、解析和质量任务互相阻塞。
模块化单体适合多数一期项目。采集适配器、SQL 解析器、质量规则执行器做成插件,后续替换或扩展成本低。微服务拆分要等团队和流量需要,过早拆分会让部署、排障和数据一致性变复杂。
平台底座先把任务、权限和审计做扎实,治理功能才能持续运行。 面向金融、政务或大型集团时,私有化部署、等保要求和审计留痕要在架构阶段就纳入,不要等上线前再补。
八、开发顺序与阶段验收
功能多,开发顺序就要按依赖和验收信号排。下面是一种可行路径。
| 阶段 | 主要交付 | 验收信号 | 暂不纳入 |
|---|---|---|---|
| 立项与盘点 | 系统清单、对象清单、角色表、一期成功标准 | 业务和数据团队对范围有同一份书面确认 | 全量功能清单 |
| 可发现 | 元数据采集、资产目录、搜索、基础血缘 | 目标系统的对象可查,来源和负责人可追溯 | 字段级血缘 |
| 可理解 | 数据标准、字段映射、指标定义 | 标准能映射到字段,核标有结果 | 全自动打标 |
| 可检核 | 质量规则、检核任务、问题闭环 | 异常可定位到记录,整改可复验 | 全量规则库 |
| 可控可用 | 分类分级、权限策略、脱敏、数据服务 | 实际身份访问结果与策略一致,审计可查 | 全自动策略 |
| 可运营 | 治理看板、变更影响分析、接口开放 | 使用记录、问题趋势和改进项能持续更新 | 一次性大而全 |
阶段长度取决于系统数量、接口开放程度和组织配合,不建议用统一周期倒推范围。团队至少要有产品经理、架构师、后端开发、数据开发、前端开发和测试;业务数据管家要参与标准和质量的验收。安全、运维和合规在权限与部署阶段介入。
每个阶段结束都留一份可检查的证据:对象清单、采集报告、标准映射表、核标结果、质量问题和整改记录、权限验证记录、接口调用日志。文档和页面截图只能辅助,不能代替结果数据。
一期只做能验收的闭环,按阶段扩大覆盖范围。 开发数据治理工具的作用,最终体现在数据可发现、口径可解释、问题可闭环、使用可审计,功能数量多少说明不了这些结果。
九、自建、采购还是混合
三条路线都有人走,判断依据是能力差异、数据边界和长期维护成本。
| 路线 | 适合条件 | 主要成本 | 主要风险 |
|---|---|---|---|
| 自建 | 数据源特殊、流程独特、研发团队稳定、需要深度集成 | 研发、跨系统适配、长期运维 | 需求膨胀、接口维护、人员流动 |
| 采购 | 希望快速上线、需求以通用能力为主、运维人力有限 | 许可、实施、集成 | 定制受限、与现有流程磨合 |
| 混合 | 通用能力采购,门户、流程和指标层自建 | 集成、边界管理、双团队协作 | 责任不清、升级不同步 |
可以用四个问题帮助判断。第一,哪些治理能力会形成企业的差异化,哪些属于通用能力。第二,数据能否离开现有环境,供应商是否支持私有化部署。第三,团队能否长期维护采集适配器和解析器。第四,现有数仓、BI、调度系统愿意开放到什么程度。
自建适合数据源复杂、流程独特、研发团队稳定的企业。采购适合希望快速上线、需求以通用能力为主的企业。混合路线更常见:采购元数据、血缘或质量引擎,自建门户、审批流程和指标层,把通用能力和企业流程分开维护。
自建的主要成本在长期维护和跨系统适配,第一版开发只是开始。 每接一个新数据源、每升级一次引擎版本,都可能带来适配工作。采购同样有集成和流程磨合成本,签约前要把接口、数据和退出方案写清楚。
常见问题
开发一套数据治理软件通常要多久
没有统一周期。系统数量、数据源类型、接口开放程度、组织配合和一期范围都会影响进度。先选一个业务主题做闭环,通常比全量铺开更容易看到结果。立项时把验收信号写清楚,比承诺一个固定上线日期更可靠。
一定要做字段级血缘吗
看使用场景。资产地图和基础影响分析,表级血缘往往够用。要定位某个指标异常来自哪个字段、评估字段变更影响哪些报表,就需要字段级血缘。字段级血缘依赖 SQL 解析和运行时信息,建设成本更高,可以先做表级,再按问题精度逐步升级。
数据治理软件和数据仓库、数据中台是什么关系
数据仓库负责数据存储、加工和分析,数据中台强调共享服务。数据治理软件管理元数据、标准、质量、安全和资产服务,可以独立部署,也可以嵌在数仓或中台里。美团起源平台把治理层放在数据仓库层和数据应用层之间,用统一元数据和规则约束两边的交互,这个位置比较容易减少对原有系统的侵入。
小团队可以基于开源产品二次开发吗
可以,前提是把维护成本算清楚。选型时看许可证、元模型扩展能力、数据源适配器覆盖、升级路径和社区活跃度。尽量通过插件和外围服务扩展,少改核心代码,否则后续升级会很痛苦。开源产品能解决通用能力,企业自己的标准和流程仍要自己维护。
怎么衡量数据治理软件是否有效
看治理结果,不看页面数量。可用指标包括目标对象采集覆盖率、标准字段落标率、质量问题闭环率、权限验证通过率、资产申请处理时长、接口调用成功率。再结合业务反馈,例如分析师找数时间是否缩短、指标争议是否减少、变更影响是否能提前发现。指标要定期复盘,避免只看一次性上线数据。
AI Agent 会取代数据治理软件吗
Agent 需要可信的治理上下文。元数据告诉它数据在哪里、字段是什么意思,标准和指标定义告诉它口径,血缘告诉它变更影响,权限和审计告诉它能用到什么范围。治理软件把这些信息和控制能力通过接口提供出来,Agent 才能稳定工作。
ThinkingAI 在 Agentic Engine 的主 Agent 中枢里放了知识记忆、资产库、安全治理、权限控制、执行审计和引用溯源,这类设计与治理平台需要提供的接口方向一致。ThinkingAI 服务全球超 1500 家企业、接入产品超 8000 款,多产品、多数据源的环境更需要可被调用的治理上下文。Agent 会改变治理成果的使用方式,治理对象、责任和验收仍然要由企业自己定义。
参考资料
- 中国标准在线服务网,GB/T 34960.5-2018《信息技术服务 治理 第5部分:数据治理规范》,2018 年 6 月 7 日发布,2019 年 1 月 1 日实施,https://www.spc.org.cn/online/95de64bf5247e483c3bff7b88e0ae061.html
- DAMA International,DAMA-DMBOK 框架与 11 个知识领域,https://www.damadmbok.org/dmbok-framework
- 美团技术团队,《美团酒旅起源数据治理平台的建设与实践》,2018 年 12 月 27 日,https://tech.meituan.com/2018/12/27/onedata-origin.html
- Datablau,数据治理旅程,https://help.datablau.cn/zh-CN/governance-journey/
- Datablau,SQLink 血缘系统管理,https://help.datablau.cn/zh-CN/dam/sqlink/administration
- DTStack,《数据血缘采集实践:从 SQL 解析到算子级字段血缘构建》,https://www.dtstack.com/zh-cn/blogs/data-lineage-sql-parsing-field-level






