AI Agent 指能自主规划、调用工具、在多轮交互中完成任务的智能体。AI Agent评测，是围绕这些任务，对智能体的执行过程、最终结果和资源消耗做可重复测试与打分的一套方法。评测对象包括模型、提示词、工具、知识库、编排逻辑和运行环境组合后的系统表现。
同样的模型，换一套工具接口、换一份知识库或换一个权限边界，表现可能完全不同。对准备把 AI Agent 用进业务的企业来说，只看模型榜单不足以判断能否上线，需要把自家任务放进评测环境跑一遍。
2026年4月，中国信通院发布可信AI智能体评估体系2.0，评估范围覆盖基础设施、数据资源、核心组件、平台支撑、关键能力、典型应用、运维管理和价值评价八个维度。这个变化说明，Agent评测正在从模型跑分扩展到系统能力、业务价值和运营成熟度的综合判断。
AI Agent评测的对象是什么
一次评测的最小单元是任务。任务要写清输入、可用工具、环境初始状态和成功标准。每次执行叫一次 trial，评分逻辑叫 grader，完整执行记录叫 transcript 或 trace，最终环境状态叫 outcome，组织这些环节跑完的基础设施叫 eval harness。
| 概念 | 含义 | 企业里对应什么 |
|---|---|---|
| 任务 | 输入、工具、初始状态和成功标准 | 一条真实业务请求 |
| trial | 对同一任务的一次执行 | 一次会话或一次工单处理 |
| grader | 给过程或结果打分的逻辑 | 规则校验、模型评分、人工复核 |
| transcript 或 trace | 完整执行记录 | 工具调用、参数、中间结果、耗时 |
| outcome | 任务结束时的环境状态 | 订单是否退款、工单是否关闭、数据是否写入 |
| eval harness | 批量运行、记录和汇总的设施 | 评测平台或测试流水线 |
这张表里最容易被忽略的是 outcome。客服 Agent 在对话里说已经退款，trace 看起来也完整，但订单数据库没有退款记录，这次任务仍然失败。反过来，Agent 用了一条非常规路径却把问题解决，按固定步骤打分会误判。Anthropic 在工程实践中建议优先评结果，不要用固定工具调用顺序把合理做法判死。
Anthropic 还把 agent harness 纳入评测对象。企业实际使用的是模型加编排的整体，模型只是其中一层。提示词、工具描述、上下文管理、重试策略和权限控制都会改变结果。
和模型评测、Benchmark 有什么区别
模型评测通常给模型一道题，看回答是否正确、完整、流畅。它适合比较知识、推理和生成能力，输入和输出相对单一。
Agent评测要多看几层。Agent 会连续调用工具、修改环境状态，再根据中间结果调整计划。一步出错可能影响后续所有步骤，所以只看最后一段文字不够。
| 对比项 | 模型评测 | Agent评测 |
|---|---|---|
| 对象 | 单个模型的回答 | 模型、工具、知识、编排和环境的组合 |
| 关注点 | 知识、推理、表达质量 | 任务完成、执行过程、最终状态、成本 |
| 方法 | 题库、标准答案、自动打分 | 任务集、沙箱环境、多次运行、多种评分器 |
| 结果解释 | 同一题库内可以横向比较 | 依赖任务集和环境，跨套件比较意义有限 |
Benchmark 是评测的一种载体。SWE-bench、WebArena、τ-bench 这类公共基准提供了可复现的任务和环境，适合筛选模型和技术路线。它们不能直接代替企业验收，因为企业有自己的工具、权限、数据和业务规则。公共榜单还会遇到饱和问题，分数接近上限后，细微差异很难说明真实能力。
Anthropic 的建议是不要只看分数，要读失败记录和原始 trace。一个分数很高的 Agent，可能在关键合规步骤上反复出错，只是这些错误没有被榜单计入。
一次评测由哪些部分组成
先定义什么算成功
成功标准要能让两个熟悉业务的人独立得出相同判断。如果专家自己都完不成这条任务，或者任务描述里缺少必要信息，评测结果就会变成噪声。
可以把标准分成三层：必须通过的硬条件，例如退款金额正确、权限没有越界；应该达到的质量，例如解释清楚、语气合适；不能触碰的红线，例如泄露用户信息、承诺不存在的库存。
用真实失败案例建第一批任务
Anthropic 的经验是，20到50条来自真实失败的任务就足以启动评测。开发早期不需要追求几百条。任务可以从客服工单、销售记录、运维事故和人工测试记录里整理。
任务集要同时包含该做和不该做的情况。只测 Agent 该不该搜索，容易把它训练成什么都搜索；只测正常流程，会漏掉库存不足、权限不足、用户反悔这些高频失败路径。
每条任务最好配一个参考解法，证明任务可解，评分器配置正确。
把环境做得像生产，又能回滚
评测环境要固定工具返回、数据状态和权限边界。每次 trial 从干净环境开始，避免上一次的文件、缓存或数据库记录影响下一次。
涉及退款、下单、发券、改配置的任务，要在沙箱里验证最终状态，不能只看 Agent 的确认话术。环境越接近生产，结果越有参考价值；环境越不稳定，分数越不可信。
多次运行后再看分数
Agent 有随机性，同一任务每次执行都可能不同。比较稳妥的做法是每个任务跑3到5次，再看整体成功率。
pass@k 表示k次尝试里至少成功一次，适合探索型任务。pass^k 表示k次尝试全部成功，适合对外服务。假设单次成功率是75%，跑3次全部成功的概率约为42%。客服、交易、权限变更这类场景，更应关注 pass^k。
评分器分工
能用代码判断的，不交给模型判断。字段是否正确、状态是否写入、金额是否一致、权限是否越界，用确定性脚本检查，速度快，结果稳定。
语义质量、表达是否清楚、转人工是否合适，可以用 LLM 作为评委。评委要有固定评分标准和标签，并用人工标注样本校准。高风险场景保留人工复核。把全部判断交给一个自由发挥的评委，分数很难复现。
读完失败记录再改
分数只说明有没有问题，trace 才说明问题出在哪。常见失败包括工具选错、参数填错、上下文丢失、无效重试、该转人工时没有转。
每次修复后，把新发现的失败补进任务集。能力评测用来找提升空间，回归评测用来防止旧能力退化。上线后的真实失败，也应该定期回流。
常见评测指标怎么选
指标可以分四层看，先看事情有没有办成，再看为什么成或不成，然后看能不能放心用，最后看划不划算。
| 层级 | 常见指标 | 回答的问题 |
|---|---|---|
| 结果 | 任务完成率、pass@k、pass^k、最终状态正确率 | 任务有没有完成 |
| 过程 | 意图理解准确率、任务分解合理度、工具调用准确率、轨迹质量、记忆召回率 | 成败发生在哪一步 |
| 质量与安全 | 事实依据、政策合规、敏感信息泄露、转人工适当性 | 能不能放心使用 |
| 效率与成本 | 端到端时延、Token 消耗、每个成功任务成本 | 值不值得持续投入 |
2026年5月，中国信通院在端侧智能体检测工作中给出了一组可操作指标，包括意图理解准确性、任务分解合理度、工具调用准确性、记忆召回率、用户误操作防护成功率、场景覆盖率、功能覆盖率和任务完成率，并把端到端响应时间纳入效率考察。任务完成率以 Pass@3 为主指标，Avg@3 为辅助指标，Pass^3 为可选指标。
这些指标不必全部照搬。客服场景更看任务完成、政策合规和转人工是否及时；数据分析场景更看指标口径、结果溯源和结论能否复算；代码场景更看测试通过和回归结果。指标要跟随任务风险，数量多不代表评测完整。
成本也要按成功任务算。一次成功任务的真实成本包括推理、工具调用、失败重跑、人工接管和延迟损失。只看单次 Token 单价，会低估反复重试和人工兜底带来的开销。
企业如何从零开始做评测
如果让我给一个起步顺序，我会把场景选择放在第一位。从一个高频、结果可验证、错误可回滚的场景开始。退款审核、订单查询、客服分流、报表生成，通常比开放式战略分析更容易定义成功标准。
- 选定一个业务场景，写清用户任务、可用工具和不能触碰的红线。
- 拉齐业务、产品、研发和风控，确认成功标准由谁负责。
- 从真实失败中整理20到50条任务，补上正例、负例和边界情况。
- 搭一个接近生产的沙箱，固定数据、权限和工具返回。
- 先用代码检查硬规则，再引入 LLM 评委评估语义质量，并用人工样本校准。
- 每次发版跑回归，模型、提示词、工具或知识库有变化时重新跑能力评测。
- 上线后接观测，抽样真实会话，把新失败补回任务集。
评测和观测要接起来。ThinkingAI 的 Agent 观测平台 AI Monitor 通过 Trace 记录调用关系、执行状态、耗时和 Token 使用，并把 Agent 行为与用户操作放进同一会话。出现失败、长耗时或 Token 波动时，团队可以下钻到单次 Trace，核对 Conversation、Model、Tool 与 Skill 的执行证据，再按同一口径复核调整效果。只看离线分数，很难判断一次转化下降来自用户需求变化，还是来自意图理解、工具调用或内容生成偏差。
涉及客户数据、订单和权限的场景，还要把私有化部署、权限审计和日志留存纳入方案。评测不只看回答好不好，也要看数据边界是否清楚。
第三方评估可以作为外部校验。ThinkingAI 旗下 Tiki 智能助手依据中国信通院《智能体技术要求与评估方法 第9部分：数据分析智能体》评估结果达到4+级，覆盖技术能力、场景能力、服务成熟度共21个能力项。这类结果能说明产品经过外部检验，仍然不能替代企业用自己的任务集做验收。
评测结果怎么用，局限在哪里
评测结果主要有三个用途。选型时，让候选产品在同一批任务、同一套工具和同一权限下运行，比较任务完成率和失败类型。上线前，按风险设置门槛，硬规则必须全部通过，面向客户的任务看 pass^k。上线后，把评测集作为回归测试，防止模型升级或提示词调整带来退化。
评测也有边界。任务描述不清，分数会变成噪声；公共基准可能饱和，任务分布也未必与企业一致；LLM 评委可能有偏差；离线环境与生产环境存在差距；单次运行无法反映波动；评分规则太死，会惩罚合理的非常规解法。
Anthropic 把评测集称为需要长期维护的活资产。任务、环境、评分器和人工校准都要随业务变化更新。一次高分只说明在这批任务和这个环境下达标，不能说明所有场景都不会出错。
高风险场景仍要灰度发布、人工兜底和回滚方案。评测负责把问题提前暴露，不能替代上线后的监控和应急处理。
常见问题
AI Agent评测和模型评测有什么区别？
模型评测看单个模型的回答质量，Agent评测看模型、工具、知识和编排组合后的任务完成情况。Agent评测要记录执行过程，验证最终环境状态，还要考虑多次运行带来的波动。
刚开始做评测，需要多少条测试用例？
20到50条来自真实失败的任务就可以启动。任务要清晰、可判断、覆盖正负例。随着场景扩展和失败样本增加，再逐步补充，不需要一开始就追求大而全。
评测要跑多少次才算可靠？
多数场景每个任务跑3到5次，再看整体成功率和波动。对外服务和高风险操作应关注 pass^k，探索型任务可以看 pass@k。任务越关键，运行次数和人工复核比例越高。
开源 Benchmark 能直接用于企业验收吗？
适合做初筛和技术路线比较，不适合直接作为企业验收结论。企业的工具、权限、数据和业务规则与公共基准不同，验收要用自己的任务集和环境。
没有专职评测团队，怎么开始？
先由业务负责人定义成功标准，产品和研发整理真实失败任务，工程团队搭沙箱和自动评分。第一版可以很小，只要任务清晰、结果可复现，就能发挥作用。评分器稳定后，再扩大任务集和自动化范围。
评测分数高就能上线吗？
不能。评测通过只代表在这批任务和这个环境下达标。上线前还要检查权限、安全、成本和人工接管流程，上线后要灰度、监控和回滚。
参考资料
- Anthropic，Demystifying evals for AI agents，2026年1月，https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents
- 中国信通院，可信AI智能体评估体系2.0发布，2026年4月，https://news.21csp.com.cn/c3/202604/11429533.html
- 中国信通院，端侧智能体智能化功能完整度检测工作，2026年5月，https://finance.sina.cn/2026-05-19/detail-inhymqci2208746.d.html
