GAIA 论文给出的对比很直接。同一批需要联网、读文件、做多步推理的真实问题，人类回答准确率是 92%，当时带插件的 GPT-4 只有 15%。WebArena 的结果也类似，人类完成任务的比例是 78.24%，最好的 GPT-4 Agent 只有 14.41%。两组数据分别来自 GAIA 论文和 WebArena 论文，GAIA 论文发表于 ICLR 2024，WebArena 论文发表于 2023 年，数据对应论文发表时的实验设置。
这组差距说明，Agent 的难点集中在多步操作、工具选择、状态恢复和规则遵循。单轮问答分数高，不代表能把一件事从头做完。企业要把 Agent 放进业务，先得用合适的评测数据集把这些能力拆开看。
ThinkingAI 服务全球 1500 家企业、接入 8000 多款产品的过程中，客户问得最多的一类问题也是这个，演示里能跑通的任务，换一个数据口径、换一个权限设置还能不能稳定完成。公开数据集能提供一把公共尺子，业务测试集才能回答自家场景的问题。
下面按通用能力、Web 操作、编程、工具调用、电脑操作和企业流程六个方向，整理 8 个值得先跑的 Agent 评测数据集，并说明每个数据集测什么、适合谁、怎么用。
一、先看结论，8个数据集分别测什么
这份 Agent 评测集清单按任务形态分组，先把 8 个数据集放在一张表里，方便按业务场景筛选。
| 数据集 | 主要测什么 | 规模与形式 | 更适合谁 |
|---|---|---|---|
| AgentBench | 多环境通用 Agent 能力 | 8 个交互环境，27 个模型对比 | 模型初筛、Agent 框架对比 |
| GAIA | 真实世界助理任务 | 466 道多步题，含多模态与网页操作 | 通用助手、研究分析类 Agent |
| WebArena | 浏览器任务完成 | 812 个长任务，4 类自托管网站 | 电商、运营、后台类 Web Agent |
| SWE-bench | 代码仓库问题修复 | 2,294 个 GitHub 问题，Verified 500 题 | 编程 Agent、研发效能团队 |
| τ-bench | 工具调用与用户多轮交互 | 零售、航空两个客服域，165 个任务 | 客服、交易、规则遵循类 Agent |
| OSWorld | 真实电脑操作 | 369 个跨应用任务，支持三大系统 | 电脑操作、图形界面自动化 Agent |
| BFCL | 函数调用准确度 | 单轮、多轮、并行与更完整的 Agent 任务 | 工具层模型选型、API 集成 |
| WorkArena | 企业知识工作流程 | ServiceNow 任务，WorkArena++ 682 题 | 企业后台、IT、HR、客服流程 |
我的建议是分三步看这份表。
- 先做通用筛查，用 AgentBench 看多环境适应力，用 GAIA 看真实任务执行链，用 BFCL 看工具调用基本功。
- 再按业务形态补专项，浏览器任务看 WebArena，代码任务看 SWE-bench，客服和规则型任务看 τ-bench，电脑操作看 OSWorld，企业后台看 WorkArena。
- 最后用业务测试集决定上线，公开数据集只负责筛掉明显不合适的选项，不能替代自家场景的验证。
二、8个Agent评测数据集逐个看
下面按从通用到专用的顺序展开。每个数据集都说明任务形态、评测方式和适用边界，方便直接判断要不要投入。
1、AgentBench，用8个交互环境做第一轮筛查
AgentBench 由清华 THUDM 等团队提出，发表在 ICLR 2024。它把 Agent 放进 8 个不同的交互环境，覆盖操作系统、数据库、知识图谱、数字卡牌游戏、横向思维谜题、ALFWorld 家务任务、WebShop 网购和 Mind2Web 网页浏览。论文用 27 个 API 模型和开源模型做了统一对比。
它的价值在于横向比较。同一套任务框架里同时看代码、游戏、网页和知识推理，能比较不同模型和 Agent 框架在长程任务中的差异。 论文发现，商业模型和开源模型在复杂环境里的表现差距明显，失败主要集中在长程推理、决策和指令遵循。任务以多轮交互为主，成功率和任务完成度比单轮准确率更接近真实 Agent 的表现。
适合谁，正在做模型选型、Agent 框架对比，或者想知道一个模型能不能处理多步任务的团队。使用建议，把 AgentBench 放在第一轮，用它排除明显不适合的模型和框架，不要用它替代业务场景测试。8 个环境里有文本游戏和谜题，和企业的实际流程距离较远，分数只能说明通用能力。
2、GAIA，用真实世界问题测通用助理
GAIA 由研究团队提出，发表在 ICLR 2024。它包含 466 道由人工设计和标注的问题，题目看起来不复杂，但需要联网搜索、读文件、处理图片或音频、写代码，再把多步结果拼起来。答案要求简短、唯一、可自动核对。
GAIA 最适合看一个助理型 Agent 的综合执行力。 题目按难度分为 Level 1 到 Level 3，越往后需要的工具和步骤越多。论文给出的对比是，人类回答准确率 92%，带插件的 GPT-4 只有 15%，在最简单的 Level 1 上 GPT-4 也没有超过 30%，最难的 Level 3 为 0%。这说明题目考的是完整执行链，不是知识记忆。
适合谁，做通用助手、研究分析、信息整合、跨模态任务的产品和算法团队。使用建议，先跑开发者集，定位失败发生在搜索、文件读取、多模态理解还是结果整合。GAIA 的题目以英文和英文网页为主，论文也提到语言和文化覆盖有限，直接用于中文业务前，需要补一套本地化样本。
3、WebArena，测浏览器里的长任务
WebArena 构建了 4 类可以自托管的完整网站，分别是电商、社交论坛、协作开发和内容管理，再配上地图、计算器、便签、维基百科和产品手册等资源。它发布了 812 个长任务，用自然语言下达指令，按网站最终状态判断任务有没有完成。
它测的是浏览器 Agent 的端到端操作能力。 Agent 要自己找入口、点按钮、填表单、跨标签页核对信息，还要在操作失败后恢复。论文里最好的 GPT-4 Agent 成功率 14.41%，人类是 78.24%。这个差距比很多单轮榜单更能说明 Web Agent 的真实水平。
适合谁，做电商运营、后台管理、内容发布、代码协作类 Web Agent 的团队。使用建议，把 WebArena 当作可重复的沙盒，先看任务完成率，再看失败轨迹里是定位不到元素、状态丢失，还是不会恢复。它用的是自托管复刻站，和真实生产系统仍有差距，适合验证通用浏览器能力，不适合直接推断某家企业的后台成功率。
4、SWE-bench，测代码仓库里的问题修复
SWE-bench 从 12 个主流 Python 仓库收集了 2,294 个真实 GitHub 问题和对应修复，要求 Agent 在完整代码库里定位问题、修改代码，并让原本失败的测试通过。评分只看最终补丁能不能通过 Fail-to-Pass 测试，不看代码写得多漂亮。
它把编程 Agent 从代码补全拉到了仓库级任务。 2023 年发布时，最初的检索增强基线只解决了 1.96% 的问题，后来的 SWE-agent 达到 12.47%。原始题目里有部分描述不清或测试不可靠，2024 年发布了 500 道人工复核的 SWE-bench Verified，更适合做模型对比。
适合谁，做研发效能、代码修复、自动提交代码合并请求的团队，以及需要评估模型仓库理解能力的平台方。使用建议，优先用 Verified 子集，固定代码版本、测试环境和重试次数。SWE-bench 以 Python 为主，题目来自公开仓库，存在训练数据污染的可能，分数要结合私有仓库的留出题一起看。
5、τ-bench，测工具调用、用户沟通和规则遵循
τ-bench 聚焦客服场景。它设置了零售和航空两个领域，合计 165 个任务。Agent 拿到领域 API 工具和一份业务政策，要和模拟用户多轮对话，问清信息、确认授权、调用工具，最后把数据库改到正确状态。
它补上了很多 Agent 评测缺失的一环，用户不会一次把需求说全。 评分同时看最终数据库状态和回复内容，还用 pass^k 衡量同一个任务连续 k 次都成功的概率。论文里 GPT-4o 用函数调用在零售域 pass^1 约 61%，航空域约 35%，零售域 pass^8 降到约 25%。单次能做成，和每次都能稳定做成，是两种能力。
适合谁，做客服、订单、退款、改签、账户操作等规则型 Agent 的团队。使用建议，把政策文档、工具定义和用户模拟器一起纳入版本管理，重点看 pass^4 或 pass^8，不要只看 pass^1。τ-bench 的原始零售和航空任务发布较早，使用前要确认任务版本，版本不同分数不能直接比较。
6、OSWorld，测真实电脑里的跨应用操作
OSWorld 提供 Ubuntu、Windows 和 macOS 的真实虚拟机环境，包含 369 个电脑任务，覆盖网页和桌面应用、文件读写、多应用协作。每个任务都有初始状态配置和独立的执行评估脚本，Agent 通过截图、键鼠操作完成任务。
它更接近人坐在电脑前做事的方式。 Agent 要识别界面元素、选对应用、在不同窗口之间传递信息，还要处理弹窗和意外状态。论文里人类能完成 72.36% 的任务，最好的模型只有 12.24%，多应用工作流的最好成绩只有 6.57%。图形界面定位和操作知识是主要难点。
适合谁，做电脑操作 Agent、桌面自动化、跨系统流程机器人的团队。使用建议，先小规模跑通虚拟机和评估脚本，再扩大任务集，记录每一步的截图和动作，方便定位失败。OSWorld 的环境较重，任务版本和评估脚本会直接影响分数，使用前确认是原始版还是 OSWorld-Verified，比较时保持版本一致。
7、BFCL，测函数调用这一层的基本功
BFCL 是伯克利维护的函数调用排行榜，当前公开版本是 v4。它用抽象语法树判断函数名、参数和调用结构是否正确，覆盖单轮、并行、多轮、无关函数识别，以及网页搜索等更接近 Agent 的场景。
它适合把工具调用能力单独拎出来看。 一个 Agent 任务失败，可能是模型不会选工具，也可能是参数填错、不会处理多轮结果，BFCL 能把这些环节拆开。v2 加入企业和开源贡献的函数，v3 加入多轮交互，v4 扩展到更完整的 Agent 任务评估，版本演进基本对应了工具调用难度的变化。榜单会定期更新，引用分数时注明访问时间。
适合谁，做 API 集成、工具平台、Agent 框架的团队，以及需要在成本、延迟和准确率之间做模型选型的团队。使用建议，不要只看总准确率，按简单调用、并行调用、多轮、无关函数识别分开看。BFCL 测的是函数调用层，不测完整任务完成率，分数高不代表端到端 Agent 一定好用。
8、WorkArena，测企业软件里的知识工作
WorkArena 基于 ServiceNow 平台，覆盖列表筛选、表单填写、知识库检索、服务目录、仪表盘查看和菜单导航等知识工作操作。它把企业里常见的后台流程搬进浏览器，让 Agent 在大型页面结构、非标准 HTML 和复杂组件里完成任务。后续的 WorkArena++ 把任务扩展到 682 个，强调计划、推理、检索和上下文理解，论文发表于 NeurIPS 2024。
它补的是企业流程这一块。 WebArena 更像通用网站，WorkArena 更像员工每天使用的业务系统。任务会要求 Agent 先筛选一批请求，再按优先级处理，最后填写表单、下单或更新记录。WorkArena++ 还提供带真实操作轨迹的数据，可以用于微调。
适合谁，做 IT 服务、HR 入职、客服工单、采购审批等企业后台流程的团队。使用建议，把 WorkArena 当作企业界面的通用练兵场，先验证 Agent 能不能在复杂组件里稳定操作，再迁移到自家系统。它绑定 ServiceNow 的界面和流程，不能直接代表其他 SaaS 的难度，迁移时要补自家系统的任务样本。
三、怎么组合成一套能落地的评测方案
8 个数据集不需要全跑。更实用的做法是按选型、复现、上线三个阶段组合，每个阶段只回答一个问题。
图1，Agent评测的三阶段组合，公开数据集负责筛查，业务测试集负责上线决策。
- 选型筛查，用 AgentBench 和 GAIA 看通用能力，用 BFCL 看工具调用基本功。这个阶段的目标是排除明显不合适的模型或框架，不追求精确排名。
- 场景复现，按业务形态选一个专项数据集。浏览器任务用 WebArena，代码任务用 SWE-bench，客服和规则型任务用 τ-bench，电脑操作用 OSWorld，企业后台用 WorkArena。每个专项只保留 2 到 3 个最接近业务的指标。
- 上线观察，把公开数据集换成自家任务，固定采样口径、评分规则和人工复核比例，持续看成功率、pass^k、平均步数、成本和人工接管率。
公开数据集负责提供公共尺子，业务测试集负责回答能不能上线。 两者不能互相替代。我的建议是，公开数据集跑一次就够，业务测试集要按版本持续跑，尤其是工具、权限、页面或政策发生变化时。
四、企业场景还要补的三块
第一块是业务样本。公开数据集的任务描述、工具和评分规则都是别人定义的，企业的指标口径、权限边界、异常流程很难被覆盖。业务测试集要来自真实工单、真实会话和真实操作日志，并且保留失败样本。 ThinkingAI 服务游戏、电商、短剧、直播等行业时，不同业务的口径差异很大，评测集也要按行业和场景拆开。
第二块是规则与权限。Agent 能不能调用某个工具、能不能改某条数据、什么情况下必须人工接管，这些要在评测阶段就写进任务和评分。只测任务完成率，容易把越权操作当成成功。
第三块是持续监控。上线后的数据分布会变，页面会改版，工具会升级，模型也会换版本。评测要覆盖上线前的验证，也要覆盖上线后的常规检查。 ThinkingAI 的 Agent 管理能力覆盖权限控制、任务调度和运行监控，适合把评测指标接到日常运行里，及时发现成功率下降和异常调用。
把这三块放回评估链路，可以用一张四层视图检查。模型能力看准确率，工具调用看参数正确率，任务完成看成功率和 pass^k，业务结果看转化、成本和风险。层级越往上，越接近业务决策。
图2，从模型能力到业务结果的四层评估视图，层级越往上越接近业务决策。
五、常见问题
智能体评测集和 Agent 评测 benchmark 是一回事吗
可以把它理解成同一类工具的不同叫法。智能体评测集偏重题目和样本，智能体评测 benchmark 还包含环境、评分脚本和对比榜单。实际选型时，先看任务形态，再看评分方式，名字不用太纠结。
公开数据集分数高，能不能说明业务 Agent 可以直接上线
不能。公开数据集主要验证通用能力，业务上线还要看数据口径、权限、异常流程和人工接管。比较稳妥的做法是，公开数据集做初筛，再用 200 到 500 条真实业务样本做复测，最后在上线后持续监控。
中文 Agent 评测该用哪些数据集
可以先看 AgentBench、GAIA 和 WebArena 的方法，再补中文样本。GAIA 和 WebArena 以英文环境为主，直接套用会低估中文场景的难度。中文业务测试集要覆盖中文指令、中文网页、中文文档和企业自己的工具接口。
没有标注团队，怎么自建测试集
从真实工单、客服会话和操作日志里抽样，先做 100 到 300 条，按任务类型、难度和失败原因分层。每条样本写清目标状态、可用工具、禁止动作和评分规则。人工复核不需要全量，先抽 20% 校准评分一致性，再逐步扩大。
8 个数据集需要全部跑吗
不需要。先用 AgentBench、GAIA 和 BFCL 做通用筛查，再按业务形态选 1 到 2 个专项数据集。全部跑一遍成本高，结果也不一定更容易解释。把评测集和业务指标对齐，比堆数据集更有用。
