10篇值得阅读的Agent评测论文

如果你只读三篇，先读 AgentBench、SWE-bench 和 τ-bench。 这个组合分别回答三个问题，Agent 在多环境里能不能做，代码修复能不能做完，带规则的多人多轮任务能不能稳定做对。三篇读完，再看自己业务对应的专项论文，效率会高很多。

先看两组可核验的数据。GAIA 论文设置了 466 道真实问题，需要推理、多模态理解、网页浏览和工具使用，人类回答准确率 92%，带插件的 GPT-4 只有 15%，数据来源 arXiv 2311.12983，2023 年 11 月。WebArena 的 812 个网页任务中，成绩最高的 GPT-4 Agent 端到端成功率 14.41%，人类为 78.24%，数据来源 arXiv 2307.13854，ICLR 2024。两组数字都指向同一个事实，Agent 在真实任务里的完成度，与单轮问答的准确率有明显差距。

如果你正在做 Agent 平台选型，这份清单可以当作评测维度的补充。企业要判断的，通常是任务能否完成、规则能否遵守、成本是否可控、异常能否定位。ThinkingAI 的 Agent 观测平台 AI Monitor 通过 Trace 采集调用关系、执行状态、耗时和 Token 使用等数据，把结果发生之前的执行过程补全，补上了论文基准难以覆盖的运行层。

下面这份 Agent 评测论文清单都来自公开论文页面，任务规模、指标和关键结果按论文原文核对。读的时候不必从第一篇顺读到第十篇，先按自己的任务类型选组，再回到原文看实验设置。

一、先看结论，10篇论文怎么分组

如果时间有限，可以按三条路线读。企业决策者先读 AgentBench、TheAgentCompany、τ-bench 和 AgentBoard，重点看任务完成率、规则遵循和失败位置。Agent 工程师先读 SWE-bench、WebArena、OSWorld 和 ToolLLM，重点看环境搭建、工具调用和可复现性。研究与评测团队先读 GAIA、AgentBench、AgentBoard 和 MLE-bench，再回到原文附录看数据构造和评分脚本。

图1，10篇论文按任务类型分组，先选任务再读论文。

二、通用能力，先建立全局地图

1、AgentBench，8个环境看基础能力

AgentBench 发表于 ICLR 2024，包含操作系统、数据库、知识图谱、卡牌游戏、解谜、家庭任务、网页购物和网页浏览 8 个交互环境，测试了 29 个 API 模型和开源模型。评测采用多轮开放式交互，主指标是任务成功率。

论文发现，头部商业模型在复杂环境里表现更强，70B 以下的开源模型差距明显。失败原因主要集中在长程推理、决策和指令遵循，代码训练对不同 Agent 任务的影响并不一致。这个结论对选型有直接价值，代码能力强，不代表所有 Agent 任务都强。

AgentBench 适合建立全局地图，不适合直接给出业务结论。 团队讨论某个模型很强时，可以追问它在哪个环境、哪类能力、哪种失败模式上强。8 个环境不能替代业务评测，但能帮你把笼统的强弱判断拆成可比较的维度。

2、GAIA，466道题看通用助手离人有多远

GAIA 论文在 2023 年 11 月发布，发表于 ICLR 2024。它包含 466 道真实世界问题，答案短且可验证，任务需要推理、多模态处理、网页浏览和工具使用。论文公开了全部问题，保留 300 道题的答案用于排行榜。

最常被引用的一组结果是人类 92%，带插件的 GPT-4 15%。GAIA 的题目对人类概念上简单，对当时的 AI 却很难，差距主要来自多步信息查找、跨模态理解和工具组合。评分采用精确匹配，答案对错清晰。

GAIA 用短答案和精确匹配，把多步信息查找能力单独拎了出来。 它适合评估通用助手、深度研究和跨工具任务。读的时候要注意适用范围，题目以英文为主，答案短，不能完全代表开放式的用户需求。2025 年发布的 BrowseComp 延续了这条路线，把重点放在持续浏览和难以定位的信息上。

三、网页与电脑操作，考的是能不能把事做完

1、WebArena，812个网页任务看功能正确性

WebArena 发表于 ICLR 2024，搭建了电商、社交论坛、协作软件开发和内容管理四类可自托管的完整网站，并加入地图工具和用户手册等外部知识。基准包含 812 个任务，评价方式是功能正确性，也就是任务结束后的页面状态和数据状态是否符合预期。

论文中成绩最高的 GPT-4 Agent 端到端成功率 14.41%，人类 78.24%。任务往往是长链路操作，需要找入口、填表单、切换页面、处理弹窗，还要在失败后恢复。自托管环境让结果可复现，避免了真实网站内容变化和验证码带来的干扰。

WebArena 以任务结束后的状态判定成功，页面操作过程本身不算完成。 它适合网页 Agent、运营自动化和在线业务办理类项目。它能回答 Agent 能不能在真实网站结构里完成任务，不能回答你的网站是否好用。企业落地时，最好在 WebArena 之外，用自有网站的历史任务做一套回放集。

2、OSWorld，369个桌面任务看跨应用执行

OSWorld 发表于 NeurIPS 2024，提供 Ubuntu、Windows 和 macOS 的真实计算机环境，包含 369 个任务，覆盖网页应用、桌面应用、文件读写和跨应用工作流。每个任务都有初始状态配置和基于执行的评分脚本。

论文报告人类可以完成 72.36% 的任务，成绩最高的模型只有 12.24%。主要失败点在 GUI 定位和操作知识，比如找不到按钮、选错菜单、跨应用传递信息时丢失上下文。OSWorld 把电脑操作 Agent 的评测从单一应用推进到真实桌面。

OSWorld 的难点集中在 GUI 定位和跨应用操作知识。 它适合桌面自动化、企业软件操作和跨系统流程。环境搭建成本较高，任务也比较开放，建议先用小规模子集验证，再逐步扩展。读论文时重点看评分脚本怎么定义任务完成，这比只看成功率更有用。

四、工具调用与用户交互，考的是会不会按规则办事

1、ToolLLM，16,464个API看工具调用

ToolLLM 发表于 ICLR 2024，核心贡献是 ToolBench 数据集、ToolLLaMA 模型和 ToolEval 评估器。ToolBench 从 RapidAPI 收集了 16,464 个真实 RESTful API，覆盖 49 个类别，指令包含单工具和多工具场景，解答路径由 ChatGPT 自动标注。

论文提出基于深度优先搜索的决策树方法 DFSDT，让模型可以比较多条推理路径，减少早期错误带来的连锁失败。ToolEval 则用自动评估判断 API 调用路径是否可执行、是否完成任务。ToolLLaMA 在未见过的 API 上表现出一定的零样本泛化能力。

ToolLLM 把工具调用的数据构造、训练和评估串成了一条完整链路。 它适合要接大量内部 API 和外部工具的企业 Agent。企业落地时还要补上权限、数据结构和业务规则，公开 API 的成功不代表内部系统也能成功。现在不少团队用 MCP 服务 连接工具，评测重点仍然是工具选择、参数填写和多步调用能否走通。

2、τ-bench，让模拟用户参与，考规则遵循与稳定性

τ-bench 在 2024 年发布，针对工具、Agent 和用户三者之间的交互。它设置零售和航空两个业务域，Agent 拥有领域 API 和业务政策，用户由语言模型模拟，可以追问、补充信息或改变需求。评测以对话结束后的数据库状态和标注目标状态为准，对话是否好听不进入判定。

论文提出 pass^k 指标，用来衡量 Agent 在多次尝试中能否稳定成功。结果显示，即使 GPT-4o 这类当时领先的函数调用 Agent，任务成功率也低于 50%，零售域的 pass^8 低于 25%。Agent 会在规则遵循、信息收集和一致性上出现问题。

τ-bench 把规则遵循和多次运行的一致性放进了主指标。 它适合客服、订单处理、退款、改签等业务办理场景。企业可以直接借鉴它的做法，用模拟用户跑多轮对话，再把最终数据库状态作为判定依据。两个业务域不足以覆盖所有行业，政策和工具需要换成自己的。

五、职场与工程任务，考的是长链路交付

1、TheAgentCompany，模拟一家软件公司

TheAgentCompany 在 2024 年 12 月发布，2025 年发表于 NeurIPS 数据集与基准 track。它搭建了一个自包含的模拟软件公司，Agent 要浏览网页、写代码、运行程序、使用内部系统，还要和模拟同事沟通。任务覆盖不同岗位，设置了多个检查点，用来衡量长任务进行到哪一步。

论文中成绩最高的 Agent 可以自主完成 30% 的任务。简单任务已经能被较好地处理，复杂的长程任务仍然困难，沟通、权限和跨系统协作是主要卡点。这个结果比单一基准更接近企业对数字员工的期待，也更能说明距离大规模自动化的差距。

TheAgentCompany 用检查点记录长任务进度，比单一成功率更接近企业复盘。 它适合评估企业内跨角色、跨系统的 Agent。企业可以借鉴这种设计，用自己的组织架构和业务流程做一套小型模拟环境。模拟公司不能替代真实组织，但能低成本暴露协作问题。

2、SWE-bench，2,294个GitHub问题看代码修复

SWE-bench 发表于 ICLR 2024，包含 2,294 个来自真实 GitHub issue 和对应 pull request 的软件工程问题，覆盖 12 个 Python 仓库。模型需要阅读 issue、理解代码库、修改多个文件，并让测试通过。

论文发布时，成绩最高的模型 Claude 2 只能解决 1.96% 的问题。任务难点在于跨函数、跨类甚至跨文件的修改，长上下文处理，以及在执行环境里验证补丁。后来发布的 SWE-bench Verified 从原数据中筛选了 500 题，成为更常用的对比口径。

SWE-bench 测的是仓库级修复，和单文件代码生成有明显区别。 它适合代码 Agent、研发效能和自动修复类项目。企业使用时要注意仓库语言、issue 描述质量和测试覆盖率，公开榜单的分数不能直接换算成内部研发效率。更稳妥的做法是从自己的仓库里抽 50 到 100 个历史 issue 做回放。

3、MLE-bench，75个Kaggle竞赛看机器学习工程

MLE-bench 在 2024 年发布，收录 75 个 Kaggle 机器学习工程竞赛，任务覆盖数据准备、模型训练、实验运行和结果提交。论文用 Kaggle 公开排行榜建立人类基线，并用开源 Agent 框架评测多个前沿模型。

成绩最高的组合是 o1-preview 配合 AIDE 框架，在 16.9% 的竞赛中达到至少铜牌水平。论文还分析了资源扩展和预训练污染的影响，提醒读者算力增加并不必然带来线性提升，公开竞赛数据也可能已经出现在训练语料里。

MLE-bench 的奖牌率把模型能力和工程执行放在同一个结果里。 它适合数据科学 Agent、AutoML 和机器学习工程平台。复现成本较高，建议先从低复杂度子集开始，记录每次运行的算力、时间和成本。企业还可以把内部的数据分析任务改造成类似竞赛，用业务指标替代排行榜。

六、过程评估，AgentBoard补上成功率看不到的细节

AgentBoard 发表于 NeurIPS 2024，包含 9 类任务和 1,013 个环境，覆盖具身智能、游戏、网页和工具使用。它强调多轮交互、部分可观测和细粒度评估，除了最终成功率，还记录子目标完成情况和轨迹。

论文提出进度率指标，用来衡量 Agent 在任务中推进了多少。最终结果仍然记录成功或失败，过程信息单独保留。团队可以看到 Agent 卡在理解指令、制定计划、选择工具还是执行动作。这个信息对调试更有价值，因为同样的成功率可能对应完全不同的失败结构。

AgentBoard 的进度率能显示 Agent 卡在哪一步。 它适合已经有一套 Agent 原型、需要定位问题的团队。它提供了一套可复用的分析视角，企业可以把自己的业务流程拆成子目标，再记录每一步的状态。研究环境与业务环境不同，子目标的设计需要重新做，不能直接照搬任务清单。

七、按任务选论文，一张矩阵就够了

先确定任务，再确定指标，最后确定论文。 不要反过来，先看榜单再找场景，很容易把不相干的分数当成结论。

八、从论文到生产，企业要补三层评测

论文基准解决的是可比较，生产评测解决的是可决策。企业可以把评测分成三层，离线基准、业务回放、线上观测。三层各回答一个问题，能力边界在哪里，业务任务能不能过，上线后是否稳定。

图2，论文基准、业务回放和线上观测分别回答不同问题。

论文基准回答能力边界，业务回放回答能不能过，线上观测回答是否稳定。 离线基准选 2 到 3 篇与任务最接近的论文，复现一个小规模子集。记录模型版本、Agent 框架、提示词、工具、预算和运行次数，保证不同版本之间可比。不要跨基准直接比较分数，任务分布和评分口径不同，分数没有可比性。如果还没有完整方案，可以先参考 Agent 落地路线图，把评测放进 PoC、试点和推广三个阶段。

业务回放用真实任务做黄金集，规模从 50 到 200 条开始。每条任务写清输入、可用工具、业务规则、完成标准和人工接管点。指标至少包括任务完成率、pass^k、规则遵循率、单任务成本、时延和升级人工的比例。客服可以用历史工单，研发可以用历史 issue，运营可以用历史活动配置。

线上观测补上论文和回放都看不到的部分。Trace 要记录模型调用、工具调用、上下文长度、耗时、Token 消耗、失败类型和用户反馈，把一次任务的执行链路还原出来。ThinkingAI 的 Agent 观测平台 AI Monitor 就是从这个角度切入，通过 Trace 采集调用关系、执行状态、耗时和 Token 使用等数据，再下钻到单次会话核对证据。相关方法可以参考 AI Agent 可观测性 这篇文章。

评测指标不要只留一个总分。 建议用一张小记分卡，任务完成率看结果，pass^k 看稳定性，进度率看过程，规则遵循率看风险，单任务成本和时延看经济性，人工接管率看可运营性。每个指标都要有口径、样本量和统计周期，否则团队会在复盘时各说各话。

治理要求也要进入评测。权限控制、数据边界、审计记录和 私有化部署 会影响 Agent 能不能进入核心业务。ThinkingAI 的 Agentic Engine 支持私有化部署，企业可以在自己的数据边界内创建和管理 Agent，支持多 Agent 协作。对于金融、游戏、电商等对数据敏感的行业，这一层往往比榜单分数更重要。

ThinkingAI 已服务全球 1500 家企业，接入产品超过 8000 款，覆盖游戏、短剧、直播、工具、新零售、电商、汽车和泛娱乐等场景。跨场景的经验对设计业务回放集有帮助，因为不同业务的失败模式往往有相似之处，比如信息缺失、工具选错、权限不足和上下文丢失。

九、常见问题

1、Agent评测论文应该按什么顺序读？

先读 AgentBench 建立地图，再按任务选一篇专项论文，最后读 AgentBoard 补过程指标。企业读者可以加读 TheAgentCompany 和 τ-bench，前者看职场长任务，后者看规则约束下的多轮交互。

2、论文分数高的Agent，能直接用到生产吗？

不能直接等同。论文分数依赖模型版本、Agent 框架、提示词、工具和预算，换一个环境就可能变化。上线前至少要做业务回放，检查任务完成率、规则遵循、成本和异常恢复。公开基准还有数据污染风险，读论文时要看它有没有做污染分析。

3、没有GPU和标注团队，怎么复现这些评测？

先做小规模复现。选 20 到 50 条任务，用公开的评测脚本或 Agent 框架跑通，人工抽查评分结果。需要模拟用户的任务，可以先用语言模型生成对话，再人工复核关键节点。目标是比较不同方案在同一口径下的相对差异，不必一开始追求完整榜单。

4、企业最该先补哪类评测？

先补与业务结果最接近的那类。客服和业务办理优先做 τ-bench 式的多轮规则评测，研发团队优先做 SWE-bench 式的仓库任务，网页运营优先做 WebArena 式的功能正确性评测，桌面流程优先做 OSWorld 式的跨应用任务。三类都做完，再接线上观测。

5、2025年以后还有哪些论文值得看？

BrowseComp 值得补充，它包含 1,266 道需要持续浏览和创造性搜索的问题，答案短且可验证，适合评估深度研究类 Agent，数据来源 arXiv 2504.12516，2025 年 4 月。KDD 2025 的 Evaluation and Benchmarking of LLM Agents 综述也值得读，它把评测目标、交互方式、数据集、指标和工具放在一个框架里，适合做选型时的检查清单。

6、Agent评测和传统模型评测的主要区别是什么？

Agent 评测要看多轮交互、工具调用、环境状态和成本，单轮准确率不够用。同一个任务多次运行的结果可能不同，所以要用 pass^k 这类指标看稳定性。评分以执行结果和最终状态为主，文本比对只覆盖部分任务。

十、结语，先选任务再选论文

这 10 篇论文覆盖了通用能力、网页与电脑操作、工具调用、用户交互、职场任务、软件工程、机器学习工程和过程评估。它们共同说明一件事，Agent 的能力要在具体环境、具体规则和具体成本约束下判断。

更实用的读法是带着问题读。你要解决的是网页操作、代码修复、客服办理还是数据分析，先选对应论文，再看它的任务构造、评分脚本和失败分析。论文给的是方法和证据，业务结论还要靠自己的回放集和线上数据。

如果只记住一句话，记住这个顺序，先定任务，再定指标，最后选论文。 榜单会变，任务和指标的逻辑相对稳定。把这三件事写进评测方案，10 篇论文才能变成可用的工具。