ThinkingAI Logo
返回博客列表

智能体平台技术架构图详解

从接入与应用、编排与运行时、能力、治理与运营、基础设施五层拆解智能体平台技术架构图,说明一次请求如何穿过各层,并给出多租户、权限、观测与落地顺序的判断方法。

2026-11-2012分钟
智能体平台技术架构图详解

智能体平台技术架构可以分为接入与应用、编排与运行时、能力、治理与运营、基础设施与部署五层,一次用户请求由接入层进入,经编排调度模型、工具与知识能力,在基础设施上执行,并由治理能力贯穿权限校验和记录追溯,最后将结果返回应用。

只画模型、工具和记忆的循环,看到的是单个 Agent 的工作方式。把多租户、运行管理、权限和服务层画进去,才是企业级智能体平台的完整结构。下面按五层拆解,并说明一次请求怎样穿过这些层。ThinkingAI 的 Agentic Engine 是一个可以对照的企业级平台实例。

智能体平台技术架构分层图,自上而下为接入与应用层、编排与运行时层、能力层、治理与运营层、基础设施与部署层

图 1 智能体平台技术架构图的五层结构。三条流分别走请求、数据与治理,不单独占一层。

一、智能体平台技术架构图的五层结构

这张图自上而下分成五层,每层只解决一类问题。

  • 接入与应用层:承接网页、移动端、企业 IM、开放接口和业务系统,负责把用户请求送进平台,也承接最终结果和人工操作界面。
  • 编排与运行时层:把自然语言目标拆成任务,选择 Agent 与技能,维护会话和任务状态,安排模型与工具调用,并为代码、浏览器等高风险动作提供隔离环境。
  • 能力层:提供模型接入、工具网关、知识检索、记忆和技能库。它决定 Agent 能调用什么,也决定调用是否可替换、可追踪。
  • 治理与运营层:管理租户、身份、权限、审批、审计、观测、评测和成本配额。它贯穿所有层,不只属于某一个模块。
  • 基础设施与部署层:提供计算、存储、网络、密钥管理和部署方式,决定平台能否云端运行、私有化部署或混合部署。

三条流把五层串起来。请求流从接入层向下,经过编排、能力调用和基础设施,再把结果带回应用。数据与知识流从企业数据源和知识库进入能力层,供检索和记忆使用,运行结果也可能回写业务系统。治理流横向穿过每一层,在请求开始前校验身份和配额,在调用工具时检查权限,在任务结束后留下审计与观测记录。

读图时先看层,再看流。层回答谁负责什么,流回答一次任务怎样走完。

二、平台架构图与单 Agent 循环图差在哪

单 Agent 循环图通常只有模型、工具、记忆三个节点,用来解释一个 Agent 怎样观察、思考、调用工具、再观察。它适合开发阶段,不足以描述企业平台。

维度单 Agent 循环图企业智能体平台架构图
要回答的问题一个 Agent 怎样思考与调用工具多个 Agent 怎样被创建、运行、授权和观测
使用主体开发者或个人多个团队、多个租户、多个业务系统
状态管理会话内的上下文会话、任务、版本、配额与审计记录
权限工具能否调用用户、Agent、工具和数据之间的完整授权链
失败处理重试或报错超时、重试、降级、人工接管与版本回滚
交付形态脚本或应用接口、SDK、嵌入渠道与稳定服务

两类图可以同时存在。平台图里仍然有单 Agent 循环,只是循环外面多了运行时、能力网关和治理层。判断一张图是否达到平台级,看它有没有回答租户、生命周期、权限和观测四个问题。

三、一次请求怎样穿过平台

把五层图横过来看,一次请求大致经过七步。

  • 接入与身份:网关确认调用方是用户、应用还是另一个 Agent,解析所属租户,建立会话标识。
  • 租户与策略:检查这个 Agent 可以使用哪些模型、工具和数据,当前配额是否足够,哪些动作需要人工确认。
  • 任务编排:识别意图,拆解任务,选择 Agent、技能和执行顺序。复杂任务可能交给多个 Agent 协作。
  • 能力调用:检索知识、读取记忆、调用模型,再通过工具网关访问内部接口或外部服务。
  • 隔离执行:代码运行、浏览器操作等高风险动作进入沙箱。写操作按策略暂停,等待授权或人工确认。
  • 结果校验与回写:检查结构化输出、引用来源和业务规则,再把结果写回系统或更新记忆。
  • 观测与计量:记录调用链、Token、耗时、失败原因和成本归属,为排错、评测和结算留下数据。

第 2 步和第 7 步最容易被省略。策略在调用前生效,才能避免越权访问;观测在任务执行时采集,事后才能还原问题出在模型、工具、知识还是权限。缺少这两步,平台仍然能演示,却很难长期运行。

四、编排与运行时层要满足的四个硬要求

编排与运行时层负责把计划变成执行,也是平台与单 Agent 代码差别最大的地方。

  • 任务状态外置:会话、步骤、中间结果和待确认动作要存在平台里,不能只放在单个进程的内存中。这样服务重启或实例切换后,任务还能继续。
  • 会话隔离:不同用户、不同租户、不同任务的上下文要分开。AWS 的 AgentCore Runtime 强调安全的无服务器运行环境和会话隔离,说明隔离属于运行时的基础能力。
  • 长任务可恢复:审批、批量处理、外部接口等待都可能持续较长时间。平台要支持超时、重试、暂停、恢复和人工接管。
  • 发布可回滚:Agent 的提示词、模型、工具和知识版本会持续变化。新版本出问题时,要能切回上一版本,而不是把正在运行的任务一起打断。

微软 Foundry Agent Service 的文档把 Agent Runtime 描述为托管并扩展 Agent、管理会话、工具调用和生命周期的组件;AWS 把 Runtime、Memory、Gateway、Identity 和 Observability 拆成可以组合的服务。产品形态不同,共同点是把状态、隔离和生命周期从 Agent 代码里拿出来,交给平台处理。

运行时层更值得看失败后的恢复能力与升级时的任务连续性,一次演示能否跑通说明不了这些。

五、能力层怎样接入模型、工具、知识和记忆

能力层是架构图里最容易被堆满的一层。模型、工具、知识库、记忆和技能库都可以列成清单,但选型时更该看它们在平台里怎样被统一管理。

能力在架构中的位置选型时要问的问题
模型统一接入与路由能否多模型切换、限流、失败转移与成本核算
工具工具网关能否统一注册、发现、鉴权与审计
知识知识库与检索服务是否有统一口径、权限过滤与版本回滚
记忆会话与长期记忆服务存什么、存多久、如何删除与隔离

模型上下文协议 MCP 把工具接入抽象成 Host、Client、Server 三段。Host 是发起调用的 AI 应用,Client 维护与某个 Server 的连接,Server 对外提供工具、资源和提示模板。MCP 规范把 Tools 定义为可执行函数,把 Resources 定义为上下文数据,把 Prompts 定义为可复用模板,并建议远程连接使用 OAuth 获取令牌。平台通常会在网关层统一处理工具发现、身份和审计,避免每个 Agent 各自接一套。ThinkingAI 的 MCP 服务 就是这类工具连接能力的产品化入口。

知识库决定回答能否被业务接受。企业常见的问题是指标口径分散、文档版本混乱、权限边界不清。ThinkingAI 企业级知识库采用 Schema-first 方式加工原始知识,以 SSOT 保证同一概念只有一处定义,通过 ChangeSet 记录每次更新,使知识可追溯、可对比、可回滚,并通过统一接口向不同 Agent 提供检索与查询。这类设计与架构图里的知识层对应,解决的是同一指标在不同 Agent 里口径不一致的问题。

能力层的重点在可替换与可治理,模型和工具的数量本身说明不了平台成熟度。

六、多租户、权限与观测为何不能后补

这三项都属于运行时约束,越晚补,改造成本越会落到每个已经接入的 Agent 上。

1. 多租户先选隔离强度

多租户智能平台常见三种做法。共享池让多个租户共用计算和存储,靠逻辑隔离区分数据,成本较低,适合标准化业务。独立实例为每个租户单独部署运行环境和数据,隔离强,成本与运维压力也高,适合强合规场景。分层混合把标准租户放在共享池,把重点租户放进独立实例,是不少企业采用的方式。

选择依据是数据敏感度、合规要求、租户规模和运维能力。架构图里要标清租户标识在哪一层解析、数据在哪一层分区、日志和计量怎样按租户归集。只写一句多租户,无法指导实现。

2. 权限要管到工具和数据

平台至少要区分用户身份、Agent 身份和服务身份。用户身份决定谁能发起任务,Agent 身份决定它能代表谁调用工具,服务身份决定它能访问哪些接口。权限要落到具体工具、具体操作和具体数据范围,采用最小权限与短时凭证,写操作设置人工确认,数据查询执行行级或字段级过滤。ThinkingAI 的 Agent 管理 产品页把权限控制、任务调度和运行监控放在同一层,对应的就是这类平台治理需求。

3. 观测要能还原一次任务

一次任务失败,团队需要知道它用了哪个模型版本、调用了哪些工具、检索了哪些知识、在哪一步超时、消耗了多少 Token。只记录最终回答,无法定位问题。成熟的 Agent 可观测方案会把 Trace 作为基本单位,把对话、模型、工具和技能调用串在同一条链路上。

ThinkingAI 的 Agent 观测平台 AI Monitor 通过 Trace 采集调用关系、执行状态、耗时和 Token 使用,并把 Agent 的运行过程与用户操作关联到同一会话,支持从聚合异常下钻到单次调用,再用相同口径复核调整效果。这类数据同时服务排错、评测和成本管理。

多租户、权限和观测都属于运行时约束,等业务上线后再补,改造成本会落到每个已经接入的 Agent 上。

七、跨层交付:服务与部署怎样支撑上线

服务能力和部署方式不属于五层之外的第六层、第七层:服务能力主要落在接入与应用层,部署方式主要落在基础设施与部署层。单列出来,是因为它们直接决定项目能否通过采购与安全评审。

服务层把平台能力变成业务可以调用的接口。它通常包括 API 与 SDK、嵌入渠道、Agent 发布与版本管理、稳定端点、服务等级约定和用量计量。业务团队关心的是能否在自己的系统里调用、升级时是否兼容、出问题由谁响应,这些都属于服务层要回答的问题。

部署层决定数据放在哪里、密钥由谁管理、网络如何隔离。金融、政企和大型企业往往要求私有化部署,把模型、知识库和运行数据放在自有环境中;中小企业更常选择云端服务,以降低初始投入。混合部署则把敏感数据和核心工具留在本地,把部分推理与管理能力放在云上。架构图里应标出每种部署方式下哪些组件在客户侧、哪些在平台侧,以及数据删除和备份怎么做。

服务层和部署层往往决定项目能否通过采购与安全评审,技术演示阶段却最容易忽略。

八、企业落地时,架构图怎样变成建设顺序

按图画一遍不等于按图建设。更稳妥的顺序是先定边界,再补运行与治理,最后做多租户和服务化。

阶段先交付什么判断是否过关
场景与边界选一个高频、结果可验证、错误可撤销的场景能说清输入、输出、人工接管点和失败后的处理
身份、数据与权限用户与 Agent 身份、工具白名单、数据范围越权访问会被拦截,写操作有人确认
运行时与工具网关任务状态、会话隔离、超时重试、统一工具接入长任务能恢复,工具升级不影响其他 Agent
知识与记忆统一口径、版本记录、检索权限、记忆保留策略同一问题在不同 Agent 得到一致答案
观测与评测Trace、Token、耗时、失败分类、回归评测集能从失败样本定位到具体调用并验证修复
多租户与服务化租户隔离、配额、发布版本、稳定接口新租户可自助开通,升级可回滚

这张顺序表也可以作为企业 Agent 落地路线图的检查清单。团队已有平台工程能力、场景高度特殊、需要深度改造运行时时,自建更合适;目标是尽快让多个场景跑起来时,优先选择治理能力完整的平台,再保留扩展接口。

ThinkingAI 的 Agentic Engine 于 2026 年发布,定位企业级 AI Agent 平台,支持创建和管理 Agent、多 Agent 协作与私有化部署。ThinkingAI 品牌已服务全球超 1500 家企业,接入产品超 8000 款。配套的企业知识库提供统一口径与版本回滚,Agent 观测平台补齐运行数据。评估现成平台时,可以用上面五层逐项对照,具体模块边界与接口以产品和实施团队确认为准。

常见问题

智能体平台架构与微服务架构是什么关系

平台可以按微服务实现,但微服务只解决服务拆分、部署和调用。智能体平台还要额外回答 Agent 生命周期、会话状态、工具权限和运行观测。两套架构可以叠加,不能互相替代。

多租户是否等于独立部署

不等于。多租户描述一套平台怎样服务多个客户,独立部署只是隔离强度最高的一种实现。共享池、独立实例和分层混合都可以支撑多租户,选择取决于数据敏感度、合规要求和成本。

MCP 在智能体平台架构中处于什么位置

MCP 位于能力层的工具接入部分,负责把外部工具和数据源以统一方式暴露给 Agent。它不负责任务编排、租户隔离、权限策略和计费,这些仍由平台的运行时与治理层承担。

小团队要不要一开始就做全套治理

先做四件事,统一身份、工具白名单、操作日志和写操作人工确认。多租户、配额、评测集和复杂审批可以随客户与场景增长补充。治理能力可以分阶段建设,但不能完全没有。

怎样判断一个平台是否支持生产运行

看长任务与失败恢复、会话隔离、权限能否管到工具和数据、Trace 是否完整、版本能否回滚、是否支持私有化与数据删除。演示效果只能作为入口,不能作为结论。

参考资料

  • Microsoft Learn,What is Microsoft Foundry Agent Service,
  • AWS Prescriptive Guidance,Amazon Bedrock AgentCore,
  • Model Context Protocol,Architecture,

准备好构建你的 Agent 团队了吗

立即体验 Agentic Engine, 让 AI 成为真正的团队成员

ThinkingAI Big Logo
电话咨询