企业里的知识问题,往往出现在一个具体的瞬间。新员工问差旅标准,客服要确认最新的退款政策,售前需要从三份合同里找出同一条交付条款。通用大模型能组织语言,却不一定知道这些资料放在哪里,也不保证引用的是最新版本。RAG 智能体要解决的,就是让模型在回答之前先找到证据,再决定怎么回答或怎么行动。
一、RAG 智能体是什么
它是让智能体在推理过程中主动检索、判断并引用外部知识,再基于证据回答或行动的 AI 系统。 它由大语言模型、知识源、检索工具、规划能力和记忆共同组成,是一套可以多步推进的运行方式。
拆开来看,RAG 负责给模型补充外部知识,Agent 负责规划、记忆、调用工具和推进任务。两者结合后,检索从一次固定动作变成可以反复调度的能力。模型先判断需不需要查资料,再决定查哪里、怎么查、查到的内容够不够,最后才组织答案。
RAG 这个概念由 Lewis 等研究者在 2020 年的论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》中系统提出。论文把参数化记忆和非参数化的向量索引结合起来,让模型在生成时检索外部文档。今天的 RAG 智能体沿用了这条思路,把检索放进了智能体的决策循环。论文原文收录在 arXiv,编号 2005.11401。
1. 三个相邻概念的区别
- 知识库是存放资料的地方,包括文档、数据库、工单、邮件和网页。
- RAG是一种检索增强生成方法,核心是先找到相关证据,再让模型基于证据生成。
- RAG 智能体把 RAG 作为可调度能力,能规划多步任务、检查证据是否足够,并在需要时调用其他工具。
这三个概念经常被混在一起。知识库解决资料放在哪里的问题,RAG 解决怎么把资料带进模型上下文的问题,RAG 智能体解决谁来规划、判断和推进任务的问题。企业采购或自建时,先确认自己要解决哪一层,后面的技术选型会清楚很多。
二、它和普通 RAG 差在哪
普通 RAG 的流程比较固定。用户提问,系统把问题转成向量,从知识库召回若干片段,重排后交给大模型生成答案。流程可控、成本相对低,适合答案集中在少数文档里的标准问答。
遇到复合问题,普通 RAG 的局限会出现。比如销售问,某客户去年签的合同里,哪些条款会影响今年的续约报价。这个问题需要查合同、报价单和历史邮件,还要比较不同版本。普通 RAG 可能只召回一组相似片段,缺少下一步该查什么的判断。
RAG 智能体会先拆问题,再决定查合同库、邮件还是 CRM。第一轮证据不足时,它会改写查询继续找;找到后还会检查引用是否支撑结论。检索从一次性动作变成可调度的工具,这是两者直接的区别。
| 维度 | 普通 RAG | RAG 智能体 |
|---|---|---|
| 检索次数 | 通常一次 | 可以多轮 |
| 查询方式 | 原问题直接检索 | 拆解、改写、路由 |
| 知识源 | 单一或少量 | 多个知识库、数据库、网页和工具 |
| 纠错方式 | 主要靠人工 | 可判断证据不足并重试 |
| 输出 | 以答案为主 | 答案、引用和动作 |
| 适用问题 | 标准问答 | 多步、跨文档、需要判断的问题 |
| 成本与延迟 | 较低 | 较高,随检索轮次增加 |
这张表给出一个选择标准。问题越标准、知识越集中,普通 RAG 越合适;问题越复杂、知识越分散,RAG 智能体的价值越明显。企业不必一上来就做多轮智能体,先用普通 RAG 跑通高频问题,再根据真实缺口决定是否升级,通常更稳妥。
这类做法在英文资料里常被称为 Agentic RAG,中文资料里也叫智能体式 RAG。
三、一次任务里,RAG 智能体怎么运转
用一个销售场景贯穿。客户问,去年签的合同里哪些条款会影响今年的续约报价。RAG 智能体通常会经历下面几步。
1. 先判断要不要查,再决定查什么
智能体先理解任务,识别问题涉及合同期限、价格调整、服务范围和历史报价。它判断这些信息不在模型参数里,需要检索企业知识。这个判断可以由大语言模型完成,也可以由规则或路由模块完成。
2. 把问题拆成几个可检索的子问题
一个复合问题往往不适合直接拿去检索。智能体会把它拆成合同条款、价格记录、客户历史三个子问题,再分别选择知识源。微软在 Azure AI Search 的智能体检索文档里,把这一步描述为查询规划,大语言模型会结合用户问题和对话历史生成聚焦的子查询。
3. 在多个知识源里找证据,再做重排
子查询可以并行执行,检索方式包括关键词检索、向量检索和混合检索。召回结果经过语义重排,留下更相关的片段,同时保留引用信息。NVIDIA 的 RAG 智能体实践把检索器封装成工具,让模型在推理和行动之间交替,这类实现常被称为 ReAct 智能体。
4. 判断证据够不够,不够就继续找
检索完成之后,智能体还要检查找到的条款是否覆盖问题、版本是不是最新、不同文档之间有没有冲突。证据不足时,它可以换关键词、换知识源,或者向用户追问。这个环节直接影响 RAG 智能体处理复杂问题的能力。
5. 生成带引用的回答,或者调用工具执行动作
证据充分后,智能体生成回答,并把引用来源一并返回。如果任务不止于回答,它还可以调用报价系统、工单系统或数据分析工具,完成下一步动作。回答和行动之间隔着一层证据判断,这层判断是 RAG 智能体区别于普通问答机器人的关键。
6. 把有效过程沉淀下来
一次任务结束后,智能体可以把有效的查询路径、客户偏好和处理结论写入记忆,供下一次任务复用。记忆可以是短期的会话上下文,也可以是长期的知识或技能沉淀。企业更应关注后者,因为它影响智能体后续任务的效率。
四、企业哪些问题适合交给 RAG 智能体
判断可以从知识分布和问题形态入手。知识越分散、问题越复杂、答案越需要追溯,RAG 智能体的价值越大。
- 知识分散在多个系统。 制度在文档库,客户信息在 CRM,历史沟通在邮件,故障记录在工单。多源检索需要相应的路由与整合设计,智能体可以按任务调度这些能力。
- 问题需要跨文档比较或多步推理。 比如比较两份合同的差异,定位指标异动的原因,或者从多份研究里汇总一个结论。
- 答案需要引用、审计和权限控制。 金融、医疗、法务和企业内部管理场景,通常要求回答能追溯来源,不同角色只能看到授权内容。
- 问题高频且答案可验证。 员工制度问答、客户支持、售前资料检索、研发文档问答,都有相对明确的正确答案,适合做试点。
典型场景包括员工知识助手、客户支持、销售与售前资料检索、运营分析、研发文档问答。这些场景的共同点是知识密集、问题重复、答案有出处。
有些场景要谨慎。知识本身缺失或质量很差时,先补知识,再谈智能体;需要毫秒级响应的交易决策,多轮检索的延迟可能不合适;纯创意生成不依赖企业知识,普通大模型就能完成;权限边界不清且无法在检索层控制时,先解决权限问题,避免把不该看的内容带进回答。
五、落地时要处理的四个边界
1. 知识质量决定上限
文档解析、切分、元数据和版本管理,都会影响检索效果。切得太碎,上下文断裂;切得太整,检索不精准。制度、合同、产品手册和问答对,适合的切分方式并不相同。知识库里的内容过期或冲突,智能体只会更快地给出错误答案。 企业需要建立清洗、更新和下架机制,不能把知识治理当成一次性的接入工作。
2. 权限要在检索层控制
不同角色能看的文档不同,权限控制要在检索层完成。 只在提示词里写一句“不要回答无权内容”,不足以解决权限问题。更稳妥的做法是在检索前做权限过滤,在检索后做访问审计,让智能体从一开始就只拿到授权范围内的证据。
3. 成本与延迟会随轮次上升
多轮检索、查询规划、语义重排和工具调用,都会消耗 token 和计算资源。微软的文档提到,智能体检索比单查询流程增加延迟;IBM 也指出,更多智能体意味着更多费用。企业可以按场景设置检索深度,简单问题走轻量流程,复杂问题才启用多轮规划。
4. 评估要覆盖引用、拒答和人工接管
只看答案像不像,容易高估效果。更完整的评估要看任务完成率、引用命中率、答案被证据支持的比例、拒答是否合理、人工接管率和单次任务成本。RAG 智能体可以降低无依据回答的概率,不能承诺消除所有幻觉。 检索错误、文档过期和模型误读仍然存在,需要引用溯源、拒答机制和人工复核共同兜底。
六、怎么判断它是否适合你的业务
可以用五个条件做初筛。
- 任务频率。 这类问题是否每天或每周反复出现。频率太低,建设成本很难摊薄。
- 知识密度。 回答问题是否需要大量企业资料。资料越密,检索增强的价值越大。
- 答案可验证性。 对错能不能被业务人员判断。答案越可验证,越容易做评估和迭代。
- 错误可撤销性。 答错了能不能及时纠正。涉及付款、签约和不可逆操作的场景,需要更严格的人工确认。
- 权限复杂度。 不同角色看到的知识是否不同。权限越复杂,越需要在平台层解决。靠提示词补丁很难覆盖不同角色的边界。
试点时,先用一小组真实问题做对比,不要只用演示问题。把人工处理、普通 RAG 和 RAG 智能体放在同一批问题上跑,记录完成率、引用准确率、响应时间和成本。这样更容易看出多轮检索带来的收益,是否足以覆盖它增加的复杂度。
平台能力可以重点看四件事:知识接入和更新是否顺畅,权限和审计能否落到检索层,引用溯源是否完整,运行过程是否可观测。
以 ThinkingAI 的 Agentic Engine 为例,其企业级知识库可对接企业文档、报表等信息源,通过统一接口提供检索与查询,并以变更记录支持知识更新追溯;平台支持私有化部署,企业可以在此基础上创建和管理不同场景的 AI Agent,并开展多 Agent 协作。官方的安全与治理介绍也说明了平台的权限、审计与成本管理能力。ThinkingAI 已服务全球超 1500 家企业,接入产品超 8000 款。选型时,仍需结合拟用版本和具体知识源,验证知识更新、检索权限、执行审计和回答引用是否满足业务要求,不能把一般平台能力直接视为每条检索链路已完成配置。
常见问题
1. RAG 智能体和普通 RAG 有什么区别
普通 RAG 通常按固定流程检索一次,RAG 智能体会判断是否需要检索、拆解问题、改写查询、多轮检索,并在证据不足时继续找。它还能调用其他工具,把回答推进到动作。代价是成本和延迟更高,系统复杂度也更高。
2. RAG 智能体会取代企业知识库吗
不会。知识库仍然是证据来源,RAG 智能体负责决定怎么找、怎么判断、怎么用。知识库的质量、权限和更新机制,直接决定智能体的上限。企业需要把知识库和智能体放在一起建设,单独买一个智能体,解决不了资料本身的问题。
3. RAG 智能体一定要联网吗
不一定。它可以只检索企业内部知识库、数据库或工单系统,也可以接入网页搜索。是否联网取决于任务需要,以及企业对数据边界的要求。内部知识已经足够时,限定在内部检索通常更安全,也更容易控制成本。
4. RAG 智能体能完全消除幻觉吗
不能。检索能提供证据,降低无依据回答的概率,但检索错误、文档过期和模型误读仍可能导致错误。企业需要用引用溯源、拒答机制、人工复核和持续评估共同兜底。把 RAG 智能体当成一个需要运营的系统,比把它当成一次性交付的工具更接近实际。
5. 小团队适合做 RAG 智能体吗
可以,但建议从一个高频、边界清楚、答案可验证的场景开始。先用普通 RAG 或轻量智能体跑通,再根据问题复杂度决定是否引入多轮检索和多 Agent。团队规模小的时候,维护知识质量和权限边界,比堆功能更重要。
6. 怎么评估一个 RAG 智能体是否好用
看任务完成率、引用命中率、答案被证据支持的比例、拒答是否合理、人工接管率、平均响应时间和单次任务成本。用真实问题集做对比,不要只看演示问题。评估集要覆盖简单问题、复合问题、权限受限问题和知识缺失问题,才能看出系统在边界上的表现。
参考资料
- Lewis 等,2020,Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks,arXiv:2005.11401。https://arxiv.org/abs/2005.11401
- IBM,什么是智能体式 RAG。https://www.ibm.com/cn-zh/think/topics/agentic-rag
- Microsoft Learn,Agentic retrieval in Azure AI Search。https://learn.microsoft.com/en-us/azure/search/agentic-retrieval-overview
- NVIDIA 开发者,使用 NVIDIA Nemotron 构建检索增强生成 RAG 智能体。https://developer.nvidia.cn/blog/build-a-rag-agent-with-nvidia-nemotron/






