线上跑的 AI Agent 到底稳不稳，多数团队一开始都靠一个数字回答，任务完成率。
到月度复盘时，这个数字又解释不了另外两件事，转化为什么掉了两个点，成本为什么涨了一截。任务完成率只记录终点，不记录途中意图有没有被理解错、工具有没有调错、上下文有没有被拉长。
企业级 AI Agent 进入生产之后，运行质量评估要解决的就是这件事，把一次任务的完整执行过程变成可判断、可比较、可复用的证据。
一、运行质量和模型跑分不是一回事
1、榜单分数衡量的是能力上限
公开基准的设计目标是横向比较，不是替你判断线上是否可靠。GAIA 用 466 道人工标注任务测多工具协作和多步推理，编程、客服、桌面操作又各有专门基准。按腾讯云技术百科整理的口径，GAIA 的人类基线约 92%，2026 年领先 Agent 的整体水平约 74.6%，到十步以上的长程任务差距更明显。这些数字说明的是能力上限，和某个 Agent 在你的业务流程里稳不稳定，是两件事。
METR 的研究提供了另一个角度。他们提出 50% 任务完成时间跨度，衡量 AI 能以一半成功率完成、而人类平均需要花多久的任务。论文《Measuring AI Ability to Complete Long Software Tasks》给出的结果是，Claude 3.7 Sonnet 的这一指标约为 50 分钟，而前沿模型的时间跨度自 2019 年以来大约每七个月翻一番。论文同时指出，这种提升主要来自更强的可靠性和错误调整能力，而不是单点推理能力变强。
2、结果看着对，过程可能全错
任务完成率通常来自 Agent 自己的汇报，而汇报和真实业务状态之间经常有偏差。行业里把这类情况叫假成功，典型场景是 Agent 回复订单已取消，但取消接口实际调用失败，或者传错了订单号。
开源评测也在提醒同一件事。Sierra 团队的 τ-bench 把客服场景拆成用户模拟、API 工具、策略文档和数据库状态四部分，用对话结束后的数据库状态判分，而不是看回复像不像客服。GPT-4o 在零售场景的单次成功率是 61.2%，在航空场景只有 35.2%。
二、评估之前先把跑得好定义清楚
指标是定义的下游产物。先在业务侧把什么算好写清楚，再去找数字。
1、任务是否真的完成
判断标准放在权威系统的最终状态上。回复口径漂亮不算完成，订单、工单、看板里的状态真的变了才算。这一条看起来简单，却是最多团队踩空的地方。
2、过程是否合理
把执行路径拆成四件事看，任务分解有没有漏项，工具选择对不对，参数格式是否符合接口契约，有没有基于观测结果推进而不是凭推测往下走。
3、代价是否可承受
耗时、Token 消耗、工具调用次数、人工接管次数。分位值比平均值有用，尤其是 95 分位延迟，以及失败运行的成本分布。
4、出错之后能不能恢复
工具超时、权限被拒、输入有歧义，这些在真实环境里都会发生。评估要看 Agent 是安全重试、调整计划、请求人工介入，还是沿着错误路径一路跑完。
三、Agent 运行质量指标怎么分层
五个层次，从结果到代价，从单次到长期。先看总览，再逐层拆。
五层不是并列的清单，检查顺序会影响结论。结果层不合格，过程层再漂亮也不能上线；成本层合格而一致性层不合格，说明这个 Agent 只是偶尔做对。
1、结果层，任务成功率要拆开看
把完整完成、部分完成、重复执行、虚假完成分开统计。只报一个总成功率，等于把假成功藏在成功里。对无法自动判定正误的任务，可以先由领域专家标注一部分样本，再逐步扩大自动判定的范围。
2、过程层，工具调用与轨迹质量
重点看三项，工具选择、参数构造、执行顺序。按单工具、五个工具、二十个以上工具等规模分别测通过率，错误率再按参数错误、超时、权限拒绝等类型细分，并统计其中恢复成功的比例。步数、重试次数和原地循环是可靠性的先行指标，一个任务用了五十步而正常只要五步，本身就是质量信号。
3、一致性层，pass^k 比最好一次更有信息量
Agent 存在运行间方差，同一个任务两次执行可能走完全不同的路径，所以单次成绩的噪声很大。
τ-bench 提出的 pass^k 正是为这件事设计的。它要求同一任务在 k 次独立测试中每一次都成功，而不是只要成功过一次。论文给出的结果是，GPT-4o 在零售场景连续 8 次全部成功的比例不到 25%。腾讯云技术百科整理的示例也呈现同样的规律，单次通过率约 90% 的智能体，连续 4 次、8 次、16 次全对的概率分别降到 66%、43%、19%。
这就是演示能跑和生产可靠之间的真实差距。 评估报告里同时给出单次成功率和连续 k 次全对率，才看得清水位；只报一个数字的报告，基本可以先放到一边。
4、成本层，算的是每个成功任务的成本
一次成功任务的真实成本，包含模型推理、工具调用、失败重跑、人工接管和延迟损失。行业里越来越多团队用每个成功任务的成本作为统一口径，把总成本除以成功任务数，而不是看单次调用的价格。
关键在分母。准确率更高的方案如果重试多、人工接管多，每个成功任务的成本可能反而更高，规模化到一定量级就会变成预算问题。
5、安全层，越权与数据边界
看有没有越出权限的工具调用、有没有绕开审批、有没有把密钥和敏感数据带进上下文、遇到注入类输入时会不会被带偏。这一层单独成门，高任务完成度不能补偿未授权动作，低成本也不能补偿虚假成功。
四、数据从哪来，Agent 可观测怎么搭
指标不是问卷问出来的，是从执行日志里长出来的。
1、用 Trace 记下每一次调用
一次任务在追踪系统里表现为一条 Trace，每个动作是一个 Span，Span 可以嵌套，调用栈和执行顺序因此都能还原。OpenTelemetry 的 GenAI 语义约定给出了通用字段，覆盖 Agent 调用、规划、工具执行以及记忆的创建、检索、更新和删除等操作，也定义了工具参数和返回结果这类属性。微软与 Cisco Outshift 进一步扩展了多智能体场景的约定，覆盖 Agent 调用、工作流编排、规划、模型调用和工具执行。有了这层数据，才回答得了哪个步骤引入了错误或延迟尖峰。
2、字段统一才有可比性
最常见的问题是各团队自定义埋点，字段名不同、口径不同，季度复盘时既无法横向比较，也无法把模型、工具、Skill 或交互策略的改动放在同一把尺子上。统一字段和口径，并把权限控制与运行监控收进同一套管理入口，评估才不会变成一次性的体力活。
3、把 Agent 行为和用户行为放进同一个上下文
只看 Trace 能判断 Agent 有没有按预期执行，判断不了这次执行对业务有没有意义。一次转化下降，可能是用户需求变了，也可能是意图理解、工具调用或内容生成出了偏差。把用户行为和 Agent 行为放进同一个分析上下文，运行质量、用户体验和业务结果才有可能串成一条证据链。
五、最容易踩的三个坑
1、只报平均，看不见假成功
平均数会把虚假完成和部分完成混进成功。更稳的做法是用独立的结果校验替代 Agent 的自我叙述，把完整、部分、重复、虚假四类结果分别上报，并统计其中假成功的比例。
2、只报最好一次
单次亮眼成绩在演示里常见，在生产里没有意义。报告必须写清楚尝试次数，以及连续多次全对的概率。
3、用自动评分替代人工复核
用一个强模型当裁判，按评分标准给输出和轨迹打分，吞吐高、边际成本低，但存在长度偏好、位置偏好和自我偏好，结果也不稳定。合理用法是只放在与人工判断一致性足够高的环节，高风险场景保留人工复核。
六、从评估到改进的闭环
评估的价值不在打分，而在于让团队能快速、可靠地跟上模型迭代。
1、上线前用私有评测集做决策
公开基准适合初筛，决定是否上线的应该是自己的私有集。用例从真实日志和早期反馈里抽，每条写清楚什么算好、怎么判定。外部标准可以当口径参考，中国信通院的《智能体技术要求与评估方法》按能力域和能力项组织评估，最高评级为 4+ 级，ThinkingAI 旗下的 Tiki 智能助手依据第 9 部分数据分析智能体的要求拿到 4+ 级，评估覆盖技术能力、场景能力、服务成熟度共 21 个能力项。但行业标准替代不了自己的用例集，推进节奏可以参考企业 Agent 落地路线图，先小范围验证，再逐步扩大任务范围。
2、生产失败案例回流成回归用例
把线上失败案例标注后补进回归集，每次改动前跑一遍。监测、发现、回归形成闭环，评测集才会和业务一起长大。
3、改动效果用同一口径复核
换了模型、改了 Skill、调整了提示词策略之后，要能在同一口径下比较任务完成率、用户体验和资源消耗。A/B 实验是这一步的常规做法，关键不在工具，而在实验前后指标口径一致、样本有代表性。
回到开头的问题。判断一个 AI Agent 运行质量好不好，不看它某一次表现多亮眼，而看它能不能在真实环境里持续做对、用得起、出问题收得住。这套体系搭起来之后，收益也不止于打分。
ThinkingAI 把用户与 Agent 行为分析、智能运营与 A/B 实验、Agent 观测放在同一套数据基础上，通过 Agentic SDK 采集调用关系、执行状态、耗时和 Token 数据，再由 Agent 观测平台从失败、长耗时、异常 Trace 和 Token 波动中定位问题，智能诊断给出问题说明、相关证据和改进建议，改动后再按相同口径复核效果。目前 ThinkingAI 已服务全球超 1500 家企业，接入产品超 8000 款。对多数团队来说，评估能力就是 Agent 能不能长期留在生产线上的前提。
七、参考资料
- METR 论文《Measuring AI Ability to Complete Long Software Tasks》，arXiv，https://arxiv.org/abs/2503.14499
- τ-bench 论文《τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains》，Sierra，https://arxiv.org/abs/2406.12045
- 微软 Learn 文档《代理跟踪概述》，https://learn.microsoft.com/zh-cn/azure/ai-foundry/observability/concepts/trace-agent-concept
- 新华网《好未来通过中国信通院可信AI教育智能体评估》，http://www.xinhuanet.com/digital/20250820/ec1222b80b444d3c9427e8dec38e1bd6/c.html
- 腾讯云技术百科 Agent 评估条目，https://cloud.tencent.com/developer/techpedia/2737
八、FAQ
1、AI Agent 运行质量评估和模型评测有什么区别？
模型评测看单轮输入输出的质量，Agent 评估看规划、工具、环境和结果的完整执行流，判分也更依赖权威系统的最终状态，而不是与参考答案比对。前者回答模型有多聪明，后者回答这条链路在业务里稳不稳。
2、没有标注数据，能不能做评估？
可以先用结果状态校验和轨迹抽检起步。至少要为高频任务写清楚成功判定标准，再从失败案例里逐步积累标注，不必等一套完美的数据集。
3、任务成功率多少算及格？
没有通用及格线，要看任务的可逆性和错误代价。可回滚、可重试的任务容忍度高，涉及资金、权限和对客承诺的任务要求更严，而且要参考连续多次的一致性，而不是单次峰值。
4、评估多久做一次？
上线前做一轮私有集评审，上线后做常态监测。模型、工具、提示词或上下文策略任何一项发生变化，都值得触发一轮复核。
5、团队人手有限，从哪里开始？
先选一条高频、判定标准清晰的任务，把结果层和一致性层两个指标做起来，再补成本与过程指标。跑通一条链路，比铺开十个指标更有用。
