Gartner 在 2025 年 6 月发布的预测中提到，到 2027 年底，超过 40% 的智能体项目会被取消，原因集中在成本上升、业务价值不清和风险控制不足。斯坦福 HAI 的《2026 年人工智能指数报告》记录了另一面，智能体在 OSWorld 的真实电脑任务成功率从约 12% 升到约 66%，但在结构化基准上仍有约三分之一任务失败。
两组数据放在一起，企业面对的问题很具体。演示能跑通，不代表能上线；榜单分数高，也不代表它适合你的选型场景。评测报告的价值，是把“感觉能用”拆成可比较的任务、指标和条件。ThinkingAI 旗下的 Tiki 智能助手曾依据中国信通院的数据分析智能体评估标准完成评估，获得 4+ 级，覆盖技术能力、场景能力和服务成熟度共 21 个能力项。这类评估把“好用”拆成一组可以逐项核对的依据。
下面这 8 份智能体评测研究报告，我按评什么、适合谁读、能回答什么问题整理，方便你在选型、验收和复盘时各取所需。其中既有机构发布的产业评测，也有学术团队发布的基准论文，它们回答的是不同层面的问题。
| 报告 | 发布方与时间 | 评测重点 | 更适合谁 |
|---|---|---|---|
| 方升智能体基准测试第二期 | 中国信通院，2025 年 11 月 | 7 款智能体与 10 款大模型，150 道深度研究题 | 中文团队、采购与验收 |
| 2025 AI Agent Index | MIT CSAIL，2025 年 | 30 款已部署智能体的能力、生态与安全透明度 | 安全、合规、平台选型 |
| 2026 年人工智能指数报告 | 斯坦福 HAI，2026 年 4 月 | 全球 AI 技术、投资、采用率与基准趋势 | 管理层、战略与市场研究 |
| AgentBench | 清华大学等，ICLR 2024 | 8 类交互环境下的多轮推理与决策 | 算法团队、Agent 框架开发者 |
| GAIA | Meta AI、Hugging Face 等，ICLR 2024 | 真实世界通用助手任务，推理、多模态、浏览与工具使用 | 通用 Agent 产品团队 |
| SWE-bench | 普林斯顿大学等，ICLR 2024 | 真实 GitHub issue 修复与代码仓库级能力 | 编码 Agent、研发效能团队 |
| τ-bench | Sierra 等，2024 年 | 工具调用、用户对话与规则遵循，连续成功率 | 客服、交易、业务流程 Agent |
| OSWorld | 多所高校，NeurIPS 2024 | 真实操作系统与跨应用任务 | 电脑操作 Agent、RPA 与自动化团队 |
一、8份报告分别解决什么问题
这份清单覆盖三个层面。第一层看产业位置，包括中国信通院方升、MIT AI Agent Index 和斯坦福 AI Index。第二层看通用能力，包括 AgentBench、GAIA 和 τ-bench。第三层看具体工作场景，包括 SWE-bench 和 OSWorld。
图为 8 份报告的阅读地图，按产业与安全、通用能力、工作场景三层排列。
如果你的问题是怎么选型，先读方升和 AI Agent Index。如果你的问题是怎么验收，先读 τ-bench 和 OSWorld。如果你的问题是怎么判断技术阶段，先读 AI Index 2026。下面逐份拆开。
二、8份智能体评测研究报告逐份看
1. 中国信通院方升智能体基准测试
中国信通院在 2025 年 10 月到 11 月组织了第二期深度研究测试，选取 7 款主流智能体产品和 10 款大模型作为对照。题库是 150 道客观题，覆盖前沿科技、经济管理和基础学科，包含信息挖掘、数学建模、逻辑推理等 8 类指标。体系 2.0 把智能体能力拆成 9 大类共性能力和 27 类基础通用指标，同时看综合能力与真实场景任务。
关键结果有两个。6 款智能体全面优于对照的 10 款大模型，智能体平均正确率比大模型高 22 个百分点。7 款智能体在 150 道题上的平均正确率和得分率都在 50% 左右，排名第一的产品正确率是 66%。这说明深度研究型智能体已经能承担辅助性研究工作，距离独立完成专业研究还有距离。
这份报告的优势是中文语境和产业场景。题目、指标和评测流程都更贴近国内企业的实际任务，适合做采购比对、项目验收和国内产品对标。读的时候重点看三件事，你的任务属于哪类指标，智能体相对大模型的增量有多少，第一名与平均水平的差距有多大。
2. MIT CSAIL 2025 AI Agent Index
MIT CSAIL 在 2025 年发布《2025 AI Agent Index》，记录了 30 款已部署智能体的起源、设计、能力、生态和安全特征。研究团队按 45 个字段、6 个类别逐项标注，数据来自公开资料和开发者邮件确认，覆盖聊天型、浏览器型和 13 款企业型智能体。
这份索引最值得看的是安全透明度。30 款智能体中有 13 款达到前沿自主水平，只有 4 款披露了智能体安全评估。25 款没有公开内部安全结果，23 款没有第三方测试。地理分布上，21 款来自美国，5 款来自中国。报告还把自主性分成 1 到 5 级，企业型智能体在配置阶段通常是 1 到 2 级，部署后常以 3 到 5 级运行，这个差异直接关系到权限设计和人工接管。
它适合安全、合规、平台选型和海外业务团队阅读。它用多维字段记录能力与安全披露，方便你在供应商尽调时逐项提问。比如这款智能体是否公开了系统卡，是否做过第三方测试，部署后由谁对行为负责。
3. 斯坦福 HAI 2026 年人工智能指数报告
斯坦福 HAI 在 2026 年 4 月发布《2026 年人工智能指数报告》，这是第 9 年发布，覆盖研发、技术性能、负责任 AI、经济、科学、医疗、教育、政策和公众情绪 9 个章节。它提供的是判断智能体所处阶段的宏观坐标。
报告里有三组数据值得记住。2025 年企业 AI 采用率达到 88%。SWE-bench Verified 的成绩在一年内从 60% 升到接近 100%。OSWorld 的任务成功率从约 12% 升到约 66%，但智能体在结构化基准上仍会失败约三分之一。报告还记录，有据可查的 AI 事件从 2024 年的 233 起上升到 2025 年的 362 起。
它适合管理层、战略、投资和市场研究团队。它的优势是数据连续、口径稳定，适合回答现在到哪一步了、哪些能力已经饱和、治理差距在哪里。读的时候把智能体章节和负责任 AI 章节放在一起看，能避免只看能力曲线。
4. AgentBench
AgentBench 由清华大学、俄亥俄州立大学和加州大学伯克利分校等团队提出，发表于 ICLR 2024。它把大模型放进 8 类交互环境，包括操作系统、数据库、知识图谱、数字卡牌游戏、横向思维谜题、家庭任务、网页购物和网页浏览，观察模型在多轮反馈中的推理、决策和指令遵循。
论文测试了 29 个闭源和开源模型。头部商业模型在复杂环境中表现更强，开源模型与它们存在明显差距，失败主要集中在长程推理、决策和指令遵循。AgentBench 的环境、数据集和评测包已经开源，团队可以复现，也可以替换成自己的任务。
它适合算法团队、Agent 框架开发者和高校研究团队。它的优势是多环境、多轮交互和可复现，适合比较不同模型或框架在同类任务上的差异。企业使用时，选与你业务最接近的 1 到 2 个环境做小规模复测，比直接看总榜更有意义。
5. GAIA
GAIA 由 Meta AI、Hugging Face 等机构的研究者提出，发表于 ICLR 2024。它用 466 个真实世界问题考察通用助手，任务需要推理、多模态理解、网页浏览和工具使用，答案唯一且可验证。论文给出的对比很鲜明，人类回答者的正确率是 92%，当时带插件的通用模型只有 15%。
这份基准的价值在于任务形态接近日常使用。问题对人类不难，却要求助手自己拆步骤、找信息、交叉验证，再把答案收敛到一个确定结果。它适合评估通用型助手，不适合单独评估某一个垂直场景。
它适合通用 Agent 产品团队、助手类应用和智能体编排框架的开发者。读的时候重点看任务需要几步、涉及哪些工具、答案如何验证。企业可以把 GAIA 的题型改写成自己的业务问题，用来做上线前的多步任务抽测。
6. SWE-bench
SWE-bench 由普林斯顿大学等团队在 2023 年发布，发表于 ICLR 2024。它从 12 个流行的 Python 仓库收集了 2294 个真实 GitHub issue 和对应 pull request，要求模型在完整代码库中定位问题、修改代码，并通过 Fail-to-Pass 测试验证。最初的 RAG 基线只解决了 1.96%，后来的 SWE-agent 达到 12.47%。
2024 年推出的 SWE-bench Verified 从原题中人工筛选出 500 个质量更高的样本。斯坦福 AI Index 2026 记录，SWE-bench Verified 的成绩一年内从 60% 升到接近 100%。这个曲线说明编码智能体进步很快，也说明基准本身正在接近饱和，企业不能只用一个分数判断编码 Agent 的工程能力。
它适合编码 Agent、研发效能和平台工程团队。它的优势是真实仓库、执行测试和可复现环境，能反映跨文件修改、长上下文理解和测试反馈能力。选型时建议加看三项，修复是否引入回归，平均耗时和 token 成本是多少，失败后能否给出可用的定位信息。
7. τ-bench
τ-bench 由 Sierra 等团队在 2024 年提出，重点评测工具、智能体和用户三方交互。它设置航空和零售两个业务域，智能体要调用域内 API、遵守业务政策，还要通过多轮对话向模拟用户补齐信息。评测会比对对话结束时的数据库状态和标注目标是否一致。
它提出的 pass^k 指标很实用。pass@k 看 k 次里至少成功一次，pass^k 看 k 次是否全部成功。论文中，当时的先进函数调用智能体任务成功率不足 50%，零售场景的 pass^8 低于 25%。这说明单次演示成功和稳定交付之间有很大差距。
它适合客服、交易、订单、售后等业务流程的 Agent 团队。它的优势是把“会调用工具”推进到“能按规则把事办成”，适合做上线前的可靠性评估。企业可以把 pass^k 思想迁移到自己的场景，用连续 5 次或 10 次任务的成功率来设定验收线。
8. OSWorld
OSWorld 由多所高校的研究者提出，发表于 NeurIPS 2024。它提供可执行、可重置的真实操作系统环境，覆盖 Ubuntu、Windows 和 macOS，包含 369 个真实电脑任务，涉及网页应用、桌面软件、文件读写和跨应用工作流。每个任务都有初始状态配置和自动评估脚本。
论文发布时，人类能完成 72.36% 的任务，最好的模型只有 12.24%，主要卡在图形界面定位和操作知识。到斯坦福 AI Index 2026，OSWorld 的任务成功率已经升到约 66%，但仍有约三分之一任务失败。这个变化说明电脑操作型智能体进步明显，也说明真实环境里的长尾问题还很多。
它适合电脑操作 Agent、RPA、桌面自动化和跨系统流程团队。它的优势是真实环境、跨应用和自动评估，能检验智能体在复杂界面里的稳定性。企业落地时，先选 20 到 30 个高频任务做内部复测，记录成功率、耗时、人工接管次数和误操作类型，再决定是否扩大权限。
三、不同角色怎么组合使用
1. 决策层
先读 AI Index 2026 和 AI Agent Index。前者回答行业采用率、能力曲线和治理差距，后者回答已部署智能体的自主性、安全披露和生态依赖。两份放在一起看，能判断现在该投什么、不该把权限放到哪一步。
2. 技术与算法团队
先读 AgentBench、GAIA 和 τ-bench。AgentBench 看多环境能力，GAIA 看通用任务，τ-bench 看连续可靠性。三份报告分别回答模型能不能做、助手能不能用、业务流程能不能稳定交付。
3. 工程与编码团队
先读 SWE-bench 和 OSWorld。SWE-bench 看代码仓库级修复，OSWorld 看真实电脑操作和跨应用流程。一个偏研发效能，一个偏桌面自动化，组合起来更接近工程团队的实际工作。
4. 采购、合规与安全团队
先读方升和 AI Agent Index。方升提供中文场景和产业指标，AI Agent Index 提供安全披露和部署自主性。采购时把两份报告变成提问清单，比只看供应商提供的单一分数更可靠。
四、读报告时容易忽略的4个判断点
1. 任务集是否接近你的业务
同一个智能体，在网页购物任务上表现好，不代表能处理你的订单退款。先看任务类型、工具数量、对话轮次和验收标准，再判断分数能不能迁移。
2. 看连续成功率
单次成功容易高估稳定性。τ-bench 的 pass^k 给出了一个简单办法，把同一任务重复 5 次或 10 次，看是否每次都成功。企业验收时，连续成功率比单次演示更接近真实体验。
3. 成本、时延和人工接管要一起看
智能体完成任务只是结果的一部分。还要记录平均耗时、token 成本、重试次数和人工接管比例。Gartner 把成本上升、业务价值不清和风险控制不足列为项目取消的主要原因，这些问题在评测阶段就能暴露。
4. 安全与权限测试是否公开
能力分数高，不代表权限设计合理。看报告是否覆盖敏感数据访问、越权操作、误操作恢复和人工接管。企业要把 Agent 安全与治理 纳入验收，不要等上线后再补。
五、企业落地前的最小评测清单
这份清单可以配合 Agent 落地路线图 使用，重点是先用小成本拿到可比较的证据。
图为从报告到验收的四步路径，下面是每一步的具体动作。
- 选 20 到 30 个高频任务，写成可验证的验收标准，包含正确结果、允许的步骤和禁止的动作。
- 用同一套任务跑 2 到 3 个候选方案，记录每个方案的任务成功率、平均耗时和人工接管次数。
- 每个任务至少跑 5 次，记录 pass^5，观察稳定性，不只看最好的一次。
- 加入权限、敏感数据、误操作三类安全测试，明确出现问题时由谁接管。
- 把评测结果写进验收条款，约定上线后的监控指标和复盘周期。
- 上线后继续用同一套任务做回归，避免模型或工具更新后能力回退。
六、常见问题
1. 智能体评测报告应该先看哪些指标？
先看任务成功率、连续成功率、成本、时延和人工接管。任务成功率回答能不能做，连续成功率回答稳不稳定，成本和时延回答划不划算，人工接管回答出了问题谁来兜底。四项放在一起，才接近生产判断。
2. 榜单第一名能直接作为选型依据吗？
不能直接作为依据。榜单的测试任务、工具环境和评分口径与你自己的业务不同，第一名只说明它在那一套任务上表现好。更稳妥的做法是选 2 到 3 个候选，用你的高频任务做小规模复测，再看连续成功率和总成本。
3. 中文团队优先读哪几份？
先读中国信通院方升和 MIT AI Agent Index，再看 AgentBench 和 τ-bench。方升贴近中文业务场景，AI Agent Index 补安全与部署视角，AgentBench 和 τ-bench 补多环境能力与连续可靠性。需要做编码或桌面自动化时，再加 SWE-bench 和 OSWorld。
4. 这些报告多久更新一次？
产业报告通常是年度或半年更新，学术基准会随版本迭代。AI Index 按年发布，方升按测试批次发布，AgentBench、GAIA、SWE-bench、τ-bench 和 OSWorld 会更新数据集、榜单或评测环境。使用前先看报告日期、版本号和测试环境，避免拿旧分数做新决策。
七、资料与数据来源
- Gartner，2025 年 6 月 25 日，Over 40% of Agentic AI Projects Will Be Canceled by End of 2027
- 中国信息通信研究院，2025 年 11 月，方升智能体基准测试结果第二期
- MIT CSAIL，2025 年，The AI Agent Index
- Stanford HAI，2026 年 4 月，2026 AI Index Report
- 清华大学等，ICLR 2024，AgentBench
- Meta AI、Hugging Face 等，ICLR 2024，GAIA
- 普林斯顿大学等，ICLR 2024，SWE-bench
- Sierra 等，2024 年，τ-bench
- 多所高校，NeurIPS 2024，OSWorld
