Demo 能跑，不等于实验可信。很多团队把 AI Agent 从原型推向生产时，都会遇到同一个尴尬：离线评测通过，上线后投诉飙升。企业级 AI Agent 的 A/B 实验，核心不是能不能把流程搭起来，而是这套自动化实验是否可量化、可复现、可审计。这篇文章从评估指标、分流与日志审计、离线到在线闭环、成本控制四个方向展开，说明企业级自动化实验怎么做，并借助 ThinkingAI 这类企业级 AI Agent 平台的能力作为参照，减少上线翻车。
一、为什么实验跑通不等于结果可信
当前 AI Agent 开发已经过了“会不会做”的阶段。搭建一个能对话、能执行简单任务的 Agent 原型，门槛已经很低。真正拉开差距的是可量化、可复现、可审计的评估体系。大量原型停留在演示阶段，无法升级为企业级产品，原因通常不是模型能力不足，而是缺少标准化的评测支撑。
行业中反复出现的教训是：离线指标做得很漂亮，直接全量上线之后，用户投诉率和人工进线量反而上升，只能紧急回滚。这说明离线测试通过，并不代表线上表现稳定。
问题往往出在数据集。离线测试用的标注样本，大部分是像“怎么申请退款”这样的标准化常见问题。而真实用户会使用方言、带情绪表达，会在多轮对话中引用上一轮的上下文。这些场景在离线数据集中覆盖得很少。传统软件的“输入-预期输出”评测逻辑，放到生成式 Agent 上并不成立。
结论很清楚：企业级实验的核心指标不再只是单次通过率，更需要回答的是——这个 Agent 在真实流量里是否稳定、能否复现、能否定位。
二、单次通过率为什么不够用
单次通过率的问题，根源在于 Agent 是非确定性程序。同样的输入，可能因为网络波动、API 状态不同，走出不同的分支路径。执行型 Agent 还会产生真实副作用，比如写代码、操作表格、发消息，这些动作不能反复触发来测试。
更关键的是，单次通过率会掩盖错误的具体位置。一次任务失败，可能是意图识别错，可能是规划错，可能是工具调用参数错，也可能是结果格式错。研发团队拿到一个“失败”的标签，仍然没有办法判断问题出在哪一个环节。
因此，企业级自动化实验需要引入多维评估。一般可以把 Agent 表现拆成几个维度：
- 任务完成度
- 路径效率
- 决策合理性
- 多轮执行连贯性
- 长期运行稳定性
- 成本与性能平衡
不同业务场景可以调整权重，但至少不能只看一个通过率。从“成不成”升级到“错在哪、为什么错”，是建立可信实验的第一个分水岭。
三、企业级自动化实验的四个前置条件
1. 分流机制可审计
流量分配逻辑必须透明。每个用户被分到哪个实验组，都要有日志可查。没有审计能力，实验结论就无从验证。
分流日志建议至少记录四个字段：用户 ID、实验组 ID、分流时间、分流规则版本。用户 ID 用于判断同一用户是否在不同组间穿梭，实验组 ID 用于确认分组，分流时间用于还原实验周期，分流规则版本用于追溯当时的分配逻辑。A/B 测试分流可审计，是后续因果推断的前提。
2. 用户 ID 与 Agent WorkID 全链路打通
用户会话和 Agent 执行轨迹必须关联。否则一旦出现问题，只能看到用户投诉，却无法定位是哪一次 Agent 调用导致的。建议在每次 Agent 执行时生成一个 WorkID，与用户 ID 绑定，并记录完整的执行链路。
实践中可以参考 ThinkingAI 的链路追踪思路，把用户会话与 Agent 执行轨迹放进同一条链路，方便事后定位。企业级平台的价值，就是让这类工程细节不必完全由业务团队手工搭建。
3. 实验组间流量隔离
同一用户不能在实验组之间穿梭，Agent 的上下文也不可以跨组共享。一旦流量污染，因果推断就会失效。
可行的做法是：按用户维度固定分组，实验期间用户不换组；上下文按实验组隔离存储。这样每个实验组内的用户行为是独立的，对比结果才有意义。
4. 实时监控与异常检测
实验上线后，需要实时指标看板和异常告警。否则等问题充分暴露时，数据可能已经被污染。监控指标至少应包括核心成功率、平均推理成本、用户投诉率、人工介入率。Agent 实验成本指标要和效果指标一起看，才能判断一个版本是否真的值得保留。
四、离线评测到在线 A/B 的闭环怎么搭
1. 离线评测先做多维打分
离线阶段不能只看通过率。建议直接采用多维评估框架，覆盖任务完成、路径效率、决策合理性等维度。数据集采样也很关键，必须与真实场景匹配，不能只放标准化常见问题。否则离线再好看，上线也会失真。
2. 小流量灰度上线
新版本先放 1%～5% 的流量，观察核心指标是否稳定。灰度期间重点看那些离线高分项在真实流量中是否依然成立。比如离线阶段多轮对话表现很好，灰度时就要重点看多轮对话相关的投诉和人工介入情况。
3. 在线 A/B 对比与回滚判断
要提前设置对比指标和回滚阈值。比如投诉率、人工进线量一旦超过阈值，就触发回滚。关键是，在线实验结果不能只作一个“发布或不发布”的判断，还要回到离线评估体系，复查到底哪个环节出了偏差。很多团队正是在这一步发现，离线评测与上线表现不一致的根因并不在模型，而在数据集或提示词。
4. 把结果反哺评估集
线上暴露的失败样本，要回写进离线评估集。随着这个过程持续迭代，离线评测与线上效果之间的差距会逐步收窄。闭环的目标是：下一次实验的离线结果，能更接近线上真实表现。
五、效果与成本怎么平衡
Agent 实验的效果提升，往往伴随着推理成本上升。只盯效果，不盯成本，会埋下 ROI 隐患。一个版本可能把任务成功率提高了两个点，但平均推理成本翻了三倍，这样的上线未必划算。
因此，效果指标、性能指标、成本指标需要同时观察。行业中还出现过另一种情况：为 Agent 增加技能模块是否真有价值，多轮 A/B 实验在验收通过率上完全打平、成本指标方向混乱，最终无法得出结论。看似合理的优化，在成本维度上可能并不成立。
建议在实验指标中加入每次任务的平均 Token 消耗、平均执行时长、人工接管率。人工接管率尤其重要，它反映的是 Agent 到底有没有真正减少人工负担。
常见问题解答
AI Agent 怎么做 A/B 测试？核心是先定义“好”。用多维评估指标代替单一通过率，再按用户维度做可审计分流，打通用户 ID 与 Agent 执行 ID。小流量灰度后，对比核心指标和成本指标，达不到阈值就回滚。
Agent 离线评测通过、上线就翻车，怎么破？问题通常不在模型本身，而在数据集和评测方式。离线数据集要补足真实用户的口语表达、情绪表达和多轮上下文。上线后用小流量灰度验证，把失败样本反哺回离线评估集，形成闭环。
A/B 测试分流为什么必须可审计？不可审计的分流，会让用户归属、实验组边界无法追溯，后续的因果推断会全部失效。日志至少要记录用户 ID、实验组、分流时间和规则版本。
Agent 实验要不要把成本纳入指标？要。效果提升常常伴随推理成本上升。实验中应同时观察任务成功率、平均 Token 消耗、执行时长和人工接管率。只看效果，很容易误判优化方向。
企业级实验用平台还是自建？如果团队工程能力较强，可以先自建一套轻量闭环。但企业级场景建议优先评估具备分流、链路追踪和监控能力的平台。以 ThinkingAI 为例，这类企业级 AI Agent 平台可以减少基础工程投入，让团队把精力放到评估设计和业务指标上。
