ThinkingAI Logo
返回博客列表

非结构化数据怎么治理?

从盘点、知识登记卡、数据分类分级、质量准入、权限版本到 Agent 检索,拆解非结构化数据治理的可执行步骤,并给出 30/60/90 天落地节奏与验收指标。

2026-10-2611分钟
非结构化数据怎么治理?

企业里不好管的数据,常常不在数据库里。合同、产品文档、客服工单、会议纪要、社群帖子、图片和录音散落在网盘、邮箱、IM、业务系统和对象存储中。它们没有统一字段,却要支撑知识库、检索增强生成和 Agent 的检索与回答。检索增强生成常被简称为 RAG。Gartner 高级总监分析师 Tim Nelms 在 2025 年接受 ITPro 采访时提到,内容也就是非结构化数据,约占企业信息的 80%。

数量大只是一面。治理做不好时,常见的结果是同一政策多个版本、敏感文件被越权检索、过期内容被 Agent 引用、没人说得清哪份资料该负责。治理做得好不好,通常取决于三件事:知不知道有什么、能不能判断哪份可用、能不能把权限和版本带到检索环节。

下面按落地顺序拆开:先明确管什么,再盘点、登记、分类、质控、授权和版本管理,最后用指标验证。

非结构化数据治理,先管什么、管到什么程度?

非结构化数据治理,是对文档、图片、音视频、邮件、工单、聊天记录等没有固定字段的数据,建立覆盖发现、登记、分类、质量、权限、版本和退役的管理机制,让这些内容在人阅读和 Agent 检索时都能被正确使用。

企业里可以先分三类对象,治理重点不同。

对象常见内容主要风险先做什么
文档类制度、合同、产品手册、图纸、培训材料版本多、权限粗、过期未清理建登记卡,确认负责人和有效期
客服反馈工单、聊天记录、通话录音、退款和投诉记录个人信息多、重复高、结论未必可复用脱敏、去重,标记适用产品和场景
社区内容帖子、评论、用户投稿、创作者内容噪声大、上下文缺失、版权和舆情风险先做主题和来源筛选,再决定是否进入知识库

三类内容都会进入同一个检索入口,治理要求却不同。文档重版本和权限,客服反馈重脱敏和场景,社区内容重筛选和上下文。

治理目标可以落成四个结果:找得到、看得懂、判得准、管得住。 找得到靠盘点和索引,看得懂靠元数据和解析,判得准靠分类分级和质量规则,管得住靠权限、版本和审计。

治理范围可以分层。高价值内容进入 AI 检索,低价值内容只做归档,敏感内容限制使用或禁止进入 AI。这样做能控制成本,也能降低越权风险。

如果企业正准备上知识库、检索增强生成或 Agent,优先治理会被这些应用读取的内容。中国电子技术标准化研究院 2020 年发布的《非结构化数据管理解决方案白皮书》,把非结构化数据管理纳入 DCMM 的能力框架,讨论管理体系、能力成熟度和内容管理,可以作为自查参考。DCMM 是 GB/T 36073-2018《数据管理能力成熟度评估模型》的简称,从战略、治理、架构、标准、数据生存周期、应用、质量和安全等能力域评估企业数据管理。如果还在理解企业级知识库的定位,可以看企业级知识库的定义、原理与适用场景。

第一步,先盘点会被 AI 用到的内容

盘点从场景开始,不从全公司文件开始。选一个高频、错误成本高的场景,比如客服问答、销售支持、制度查询或经营分析,把该场景需要的内容列出来。

盘点表至少包含这些字段:

  • 内容名称和类型
  • 来源系统和存储位置
  • 所属业务域
  • 负责人
  • 当前版本和更新时间
  • 使用频率
  • 敏感级别
  • 是否计划进入 AI
  • 是否存在重复、过期、无主

文件量很大时,先按系统、目录和业务域分层抽样。系统扫描负责发现文件,人工核对负责判断价值和归属。第一期能在一个场景里找出前 100 份关键内容,并标出过期、重复、无主和敏感内容,盘点就算有结果。

盘点的产出是一张能支持后续决策的地图。 团队要能回答四个问题:内容在哪里、谁负责、是不是最新、能不能给 AI 用。

第二步,给关键内容建一张知识登记卡

登记卡是治理的基本单元。它把一份内容的来源、负责人、版本、有效期、权限和用途固定下来,后续的分类、检索、审计都从这张卡取信息。

字段示例作用
内容名称退款政策便于检索和引用
内容类型制度文档决定解析和切分方式
来源系统客服知识库、政策中心追溯原始出处
业务域售后确定业务负责人
负责人售后运营处理更新和争议
版本v3.2区分历史版本
生效时间2026-09-01判断当前是否适用
有效期2027-08-31触发复审或退役
密级内部决定访问和脱敏
使用范围客服 Agent、官网帮助中心限定调用场景
AI 可用是,需按用户身份过滤控制检索和生成
关联实体退款条件、适用品类、审批节点支持关系检索
变更记录2026-08-20 调整运费规则支持追溯和回滚

字段不必一次做全。先保证来源、负责人、版本、有效期、权限和适用场景六项。没有负责人的内容,不进入 AI 检索;没有有效期的制度,按待复审处理。

登记卡要能被机器读取。把关键字段做成结构化属性,检索、权限和审计系统才能直接使用。把说明写在文档正文里,机器很难稳定判断。

第三步,数据分类分级要能触发动作

分类回答这是什么,分级回答谁能看、能怎么用。两者合在一起,才能决定一份内容进入哪个库、被谁检索、能不能生成答案。

维度可选值用途
业务域售后、法务、研发、市场、人力确定负责人和使用范围
内容类型制度、合同、工单、帖子、音视频选择解析和切分方式
敏感级别公开、内部、机密、受限决定加密、脱敏和访问控制
AI 用途可检索、可总结、仅可引用、禁止进入控制检索、生成和外发

分类分级由业务定义,技术负责执行。业务更清楚哪些内容敏感、哪些条款有例外、哪些客户反馈可以复用。技术团队负责把规则做成字段、标签和策略。

机器可以先做初筛,给出分类建议和置信度,高风险和边界内容交给人审核。追求完全自动识别会让项目一直停在试点。更现实的做法是机器处理大部分常规内容,人工抽检高风险内容,并保留复核记录。

分级结果要能触发动作,只打标签不执行,治理不会改变任何风险。 比如加密、脱敏、限制检索、禁止导出、缩短留存期。

第四步,质量治理放在向量化之前

文档重复、过期、互相矛盾,切成片段后仍然存在。向量化改变的是检索方式,不会自动修正内容质量。

质量检查至少看六个维度:

维度检查问题
准确性内容与现行制度、产品或业务事实是否一致
完整性是否缺少适用范围、生效时间、例外条款
时效性是否过期,是否经过复审
一致性同一概念在不同文档中是否口径冲突
可解析性扫描件、表格、图片和音视频能否被稳定解析
可追溯性能否追到来源、版本和负责人

入库前设准入规则。没有负责人、过期未复审、与现行制度冲突、解析质量不达标、敏感内容未脱敏的内容,先不进入 AI 检索。

解析和切分也要抽样核对。表格、扫描件和图片容易丢字段,音视频转写容易错词。切分后不能丢掉标题、适用范围、生效时间这些限制条件,否则检索命中了也会答错。

质量指标可以先看重复率、过期率、无主率、抽样准确率和引用可追溯率。先记录基线,再按月看变化。

第五步,数据权限治理要跟到检索环节

数据权限治理要跟内容走,也要跟使用场景走。 用户在原文系统里有权限,不代表他在 AI 问答里就能看到同样的内容。检索环节还要按身份、部门、密级和用途做一次过滤。关于 Agent 场景的权限审计和可信决策,可以参考企业级 AI Agent 安全与治理。

权限粒度至少到文档和目录,关键场景要到章节、字段或知识块。客服、人力、财务等敏感内容要做隔离。对外使用的 Agent 还要限制可生成的答案范围,避免把内部条款改写成对外承诺。

版本管理要记录谁改了什么、何时生效、影响哪些 Agent 和报表、如何回滚。只留 v1、v2 不够,团队需要知道当前该信哪一版。

每条知识要有负责人、复审周期、有效期和退役方式。负责人调岗时要做转移,长期无人维护的内容进入待复审或归档。删除和归档要分开,法规要求留存的内容不能直接删,不再使用但需留痕的内容可以退出检索。

第六步,供人阅读和供 Agent 检索,要求不同

同样一份内容,人读和 Agent 读,需要的信息不一样。人可以从目录、标题和上下文判断,Agent 更依赖结构化字段、权限标记和版本信息。

维度供人阅读供 Agent 检索
组织单位文档、章节知识点、实体、关系
关键信息标题、目录、正文定义、适用范围、生效时间、权限、来源
检索方式关键词、目录、全文搜索语义检索、关键词、权限和版本过滤
版本管理人工确认变更集、生效范围、回滚
权限粒度文件、文件夹文档块、字段、行级
验收标准能找到文档答案正确、可引用、可追溯

把文档统一上传、做向量化,能解决一部分检索问题,解决不了口径冲突、权限越界和版本过期。

Agent 需要的知识单元更小,限制条件要跟着走。比如退款政策,不能只给一段正文,还要带适用品类、生效时间、例外条款和责任部门。

Gartner 在 2026 年数据与分析峰会的相关分享中,把非结构化数据能力拆成接入、数据质量、治理和元数据管理四层,并强调治理要跟随 AI Agent 的数据血缘。Atlan 对这场峰会的整理记录了这组判断,也提到不少团队直接跳到治理,结果治理的是自己无法稳定接入和衡量的内容。这个顺序和上面的步骤一致:先接入和盘点,再质量、治理和元数据,最后才谈检索效果。

ThinkingAI 企业级知识库把这层工作放在 Agentic Engine 的基础设施层。它对接企业内部文档、报表等信息源,用 Schema-first 把非结构化文档解析成实体图谱,再通过统一接口供不同 Agent 检索。这里的 Schema-first 指先定义业务对象和关系,再把文档内容填进去。每次更新通过 ChangeSet 变更集保留可追溯、可对比、可回滚的记录,SSOT 单一事实源保证同一概念在全系统只有一处定义。客服问答、Text-to-SQL 和数据分析可以共用一套知识底座。ThinkingAI 已服务全球超 1500 家企业,接入产品超 8000 款。

这类产品适合已经有明确 AI 场景、知识分散在多个系统、错误回答会带来实际损失的企业。只做文件归档、没有 AI 计划的团队,可以先把目录、权限和更新机制整理好,不必急着上复杂平台。Agent 可直接调用知识的具体要求,可以看Agent Ready 的企业知识库长什么样?。

30/60/90 天怎么落地?

治理不需要等所有条件齐备再开始。选一个场景,按30/60/90 天推进。

阶段主要动作交付物验收信号
0–30 天选场景,盘点头 100 份内容,建登记卡,做质量清洗,记录基线场景内容清单、登记卡、问题清单能说清关键内容在哪里、谁负责、哪些过期或敏感
31–60 天分类分级,设权限和版本规则,接入知识库或检索增强生成,做小范围试点分类分级表、权限策略、版本记录、试点结果关键问题能检索到正确内容,引用能追到来源和版本
61–90 天扩到 2–3 个场景,建立复审和退役机制,按指标复盘运营机制、指标看板、审计记录过期、无主、重复内容占比下降,答案采纳率或首次解决率有改善

角色分工也要提前定。

角色主要职责
业务负责人定义内容价值、敏感级别、适用范围和更新责任
数据治理团队制定登记卡、分类分级、质量和版本规则
IT 与平台团队接入系统、解析内容、配置权限和检索
安全合规审核敏感数据、访问策略、审计和留存要求
AI 团队设计检索、引用、评测和 Agent 调用方式

先跑通一个场景,再扩到更多部门。 全公司一起铺开,通常在第二个月就会停摆。

指标不要只看访问量。访问量高可能只是大家找不到别的地方。更有用的指标包括盘点覆盖率、登记卡完整率、过期率、重复率、无主率、权限抽检准确率、引用可追溯率、答案采纳率和首次解决率。

常见问题

非结构化数据治理就是建知识库吗

知识库是治理后的使用方式之一。治理还要处理盘点、分类、质量、权限、版本和退役。没有这些工作,知识库只是把原来的混乱搬到一个新系统里。

需要先把所有文件都向量化吗

不需要。先治理会被 AI 使用的内容,再做解析、切分和向量化。低价值内容可以只归档,敏感内容可以限制或禁止进入检索。全量向量化会增加成本,也会把过期和重复内容带进检索结果。

没有专职团队怎么开始

从一个高价值场景开始,指定业务负责人和一名数据治理接口人。第一期只做关键内容清单、登记卡和准入规则,不追求全公司覆盖。跑通后再决定是否增加专职人员和平台。

怎么判断治理有没有效果

看三类指标。内容指标看盘点覆盖率、登记卡完整率、过期率、重复率和无主率;权限指标看越权检索拦截和权限抽检准确率;业务指标看答案采纳率、首次解决率和错误返工率。上线前记录基线,按月对比。

非结构化数据治理和文档管理、DLP 有什么区别

文档管理关注文件怎么存、怎么找、怎么归档,DLP 关注敏感内容怎么防外发。非结构化数据治理要把这些环节连起来,还要为 AI 检索补上语义、权限和版本信息。三者可以共存,单独用其中一种都覆盖不了 AI 场景。

中小企业要不要做

看知识是否已经成为业务瓶颈,以及未来 12 个月是否要上线 AI 应用。系统多、查询频繁、口径经常冲突、错误回答会带来损失的企业,应该尽早做。内容量小、只做归档的团队,可以先用目录、权限和更新机制过渡。

准备好构建你的 Agent 团队了吗

立即体验 Agentic Engine, 让 AI 成为真正的团队成员

ThinkingAI Big Logo
电话咨询