企业AI落地进入试点两周,客服回答速度明显变快,业务开始催全量上线。法务这时问,客户手机号和合同原文究竟进了哪台服务器。几乎同时,运营发现同一个退款政策,AI昨天说七天,今天说十五天。前者是数据隐私,后者是模型幻觉。很多企业把它们拆成两个项目,结果两边都在补漏洞,却没人对完整链路负责。
这两个问题不是两件事。它们都发生在同一条链路上,数据从业务系统进入上下文,模型再从上下文中生成答案,最后通过界面或Agent执行动作。任何一段缺少边界、证据和记录,风险都会向下游放大。真正可执行的目标,不是承诺零泄露、零幻觉,而是做到数据有边界、答案有出处、动作有权限、事故可回溯。这也是企业 AI 安全与治理要解决的核心问题。
风险并不抽象。斯坦福大学《2025 AI Index》记录,2024年公开记录的AI相关事件升至233起,比2023年增长56.4%;同一报告引用的调查显示,64%的受访者关注答案不准确,63%关注监管合规,60%关注网络安全,但识别风险并不等于已经采取行动。放到企业场景里,一次错误回答可能只是客服返工,也可能变成对外承诺、财务口径或合规事故。
一、隐私和幻觉为什么会一起出现
1、数据入口没有边界
员工把合同、客户名单、源代码直接贴进公共AI工具,是最常见的一条泄露路径。另一种更隐蔽,企业自建知识库时只做了文档上传,没有继承原系统权限,检索器会把财务、法务或人事文档一并送进模型上下文。模型没有违规,它只是拿到了不该拿的东西。
2、知识源没有版本
同一个退款政策存在三份文档,指标口径在不同报表里各写一套,旧版制度没有下线。模型面对冲突材料时,往往会选一个语言上最顺的答案,而不是事实上最新的答案。用户看到的是一句流畅回复,背后其实是知识治理失败。
3、输出没有证据链
没有引用、没有检索快照、没有模型版本记录,出了问题就只能靠猜。安全团队无法判断哪些数据被读取,业务团队无法复核答案依据,法务也无法向客户说明处理过程。OWASP LLM Top 10 把敏感信息泄露、信息误导和过度代理列为大模型应用的典型风险,这几类问题最终都指向同一件事,上下文缺控制,输出缺证据。
隐私和幻觉的共同敌人,不是模型不够聪明,而是上下文不受控、过程不可见。
二、数据隐私怎么管,先划清四条边界
1、分类分级决定数据能不能进模型
先把数据分成公开、内部、敏感和核心四类,再把个人信息、商业秘密、生物识别、金融账户、行踪轨迹等高风险数据单独标识。分类分级不是给文件贴颜色,而是决定调用权限、脱敏方式、留存周期和审批级别。涉及敏感个人信息时,还要按《个人信息保护法》的要求评估处理目的、必要性和保护措施。
2、最小必要要落到字段和调用
只给任务需要的字段,不给整张表;只给当前用户有权限的文档,不做全员知识库;能不传原始对话就不传,必须记录时先脱敏并设定保留期。对客服务还要区分回答需要和训练需要,前者可以临时调用,后者必须单独取得授权。
3、私有化部署只解决数据位置
私有化部署可以降低数据离开企业边界的风险,但不自动解决越权访问、向量库泄露、日志残留、备份外带和模型供应链问题。密钥管理、字段级权限、检索鉴权、审计日志要一起上。把服务器放进机房,不等于把风险关进笼子。
4、供应商合同要写清数据去向
至少确认五件事。输入数据是否用于训练,留存多久,是否交给第三方处理,删除请求如何执行,发生泄露后多久通知。模型能力会更新,合同里的数据处理条款也要能跟着更新。
还有一个常见误区。《生成式人工智能服务管理暂行办法》适用于面向境内公众提供生成式AI服务的行为,企业内部自用系统未必直接适用,但只要处理员工或客户个人信息,仍受《个人信息保护法》约束。 合法、正当、必要、最小范围,不会因为模型部署在自己机房就失效。
三、模型幻觉怎么降,别把RAG当万能药
RAG,也就是检索增强生成,常被当成治幻觉的万能药。但它只解决去哪里找证据,不自动解决证据是否真实、是否最新、是否该给这个用户看。
1、先分清事实性幻觉和忠实性幻觉
事实性幻觉是模型说了不存在的事,忠实性幻觉是它偏离了给定材料。前者要补外部证据,后者要改检索、提示和上下文组织。把所有错误都叫幻觉,团队就会一直在换模型,却不去修知识源。
2、知识库要回答三个问题
这条知识来自哪里,当前版本是否有效,谁有权限看到。三个问题有一个答不上来,RAG就可能把错误答案包装得更可信。
以 ThinkingAI 企业级知识库的实践为例,知识不是简单切块后塞进向量库,而是先做结构化、关联化和版本化,用统一指标口径保证同一概念只有一处定义,再通过变更记录支持追溯、对比和回滚。只有知识本身可治理,检索结果才有资格进入模型上下文。
3、能计算的就别让模型猜
退款金额、库存、同比环比、SQL查询,应该调用数据库、规则引擎或工具,模型负责理解问题、选择工具、解释结果,不负责心算。把确定性计算交给确定性系统,是降低高风险幻觉最直接的办法。
4、允许AI说不知道
设置置信阈值、证据不足拒答、敏感问题转人工。拒答不是体验缺陷,而是可预期边界。对客场景要给出转人工入口,内部场景要显示缺失的证据类型,让用户知道下一步该找谁。
5、人审分级,评测闭环
高风险动作双人复核,中风险抽样,低风险自动。上线前建一套企业自己的评测集,覆盖常见问题、边界问题、对抗问题和权限问题。上线后监控无依据回答率、引用准确率、正确拒答率和人工改写率。模型升级前跑回归,不让一次版本更新把旧问题带回来。
四、把两类风险装进一条治理链
真正可落地的做法,是把隐私和幻觉控制点合并到同一条链路。下面三层,每层都要有负责人、可观测指标和回退动作。
1、第一层,数据入口先减量再脱敏
先做数据清单,标明来源、责任人、敏感级别、允许用途和保留期。入口处做三件事,拦截未授权上传,识别并脱敏敏感字段,按任务裁剪上下文。员工使用公共AI工具的场景也要纳入,否则影子AI会绕过全部制度。

图1,数据入口的三层过滤。
2、第二层,检索与生成让证据先于答案
检索时继承文档权限,不把无权内容送进模型。排序时优先最新版本和权威来源。生成时要求引用原文片段,证据不足就拒答。对指标、政策、合同这类高风险知识,设置唯一事实源,避免多份文档互相矛盾。

图2,检索、核对与拒答的分支。
3、第三层,行动与审计把权限和回滚配成对
Agent能查不等于能改。查询、写入、审批、对外发送要拆成不同权限,高风险动作必须人工确认。Agent 治理要同时管住权限、运行和审计。每次调用记录模型版本、检索片段、工具参数、人工修改和最终结果,日志脱敏后留存,确保事故能还原。

图3,权限、人审、审计与回滚的闭环。
4、治理要有主责人,不能只靠IT
业务负责人定义可接受错误和必须人工确认的节点,数据团队管质量和权限,安全与法务管分类分级、影响评估和合同,平台团队管评测、监控和回滚。NIST AI Risk Management Framework 把治理、映射、测量、管理作为四个持续动作,强调的不是一次验收,而是全生命周期的风险管理。没有单一主责人,出了问题就会出现技术和业务互相等待。
五、90天落地路线,怎么验证不是纸上合规
1、第0到2周,选场景和定红线
不要从全公司知识问答开始。选一个高频、边界清楚、错误可回退的场景,比如客服政策问答、内部制度检索或经营指标解释。同步列出不能进模型的数据、不能自动执行的动作和必须转人工的问题。
2、第3到6周,打通数据、知识和权限
把场景需要的文档、数据库和业务系统接进来,先做权限继承和版本治理,再做检索和提示。没有权限体系的知识库,不应直接接入Agent。具体排期可以参考企业 Agent 落地路线图。
3、第7到10周,做评测和攻击测试
准备至少三组样本,正常问题、边界问题、恶意问题。除了准确率,还要测敏感信息泄露、越权检索、提示注入、错误引用和该拒答时是否拒答。测试不通过,不进入生产。
4、第11到13周,小流量上线和回滚演练
先开放给一个团队或一类问题,设置人工复核和停用开关。每周复盘错误样本,能修知识就修知识,能改流程就改流程,最后才考虑换模型。
5、验收看四组指标
数据侧,敏感字段拦截率、越权检索次数、日志中残留的个人信息数量。
答案侧,无依据回答率、引用准确率、正确拒答率、人工改写率。
业务侧,任务完成率、平均处理时长、转人工率。
治理侧,模型变更回归通过率、事故平均恢复时间、未关闭高风险问题数量。
指标不需要多,但必须能追溯到具体样本和具体版本。只报调用量和使用人数,说明不了风险有没有被管住。
六、参考资料
国家互联网信息办公室等,《生成式人工智能服务管理暂行办法》,2023年,链接。
NIST,AI Risk Management Framework,2023年,链接。
Stanford HAI,2025 AI Index Report,Responsible AI,链接。
OWASP,Top 10 for LLM Applications,链接。
七、FAQ
1、私有化部署能同时解决隐私和幻觉吗?
不能。私有化降低数据出界风险,但权限、日志、备份和模型更新仍要治理。幻觉取决于知识和证据,不取决于服务器在哪里。
2、RAG能消除模型幻觉吗?
不能完全消除。RAG在检索质量高、权限正确、版本清楚时能降低事实性错误;如果知识源混乱或模型忽略引用,它也可能把错误答案包装得更可信。RAG需要评测、拒答和人审一起工作。
3、企业应该先做数据分类还是先做知识库?
先做最小可用的数据分类和权限,再做知识库。否则知识库会把原本分散的敏感文档集中到一个更容易被检索的地方。两者可以并行,但权限设计不能晚于知识接入。
4、幻觉率怎么定才合理?
没有通用数字。按场景和错误后果定阈值,对客政策回答、财务口径和医疗建议要更严格,创意草稿可以更宽松。用企业自己的金标问题集持续抽样,比只看模型厂商的公开跑分更有意义。
5、中小企业没有专门AI团队,怎么开始?
从一个场景和一个供应商开始,合同写清数据去向,复用现有身份与权限系统,准备一百到两百条真实问题做测试,保留人工复核。不要先买大平台,再回头补数据边界。
6、员工偷偷用公共AI怎么办?
只禁不管通常无效。提供经过评估的替代工具,部署数据防泄漏措施,明确哪些内容不能上传,配合培训和审计。影子AI既是安全问题,也是管理问题。






