Agent评估器是把“完成得怎么样”转成可复查判定的组件。 它读取回答、工具调用或任务执行证据，按照明确标准，返回通过与否、分数、类别或原因。在软件中，它可能是一段规则代码，也可能是调用另一个模型的判定程序。
理解企业级 AI Agent的质量，可以先分清三件事：Agent执行任务，评估器检查某项要求，团队决定怎样使用检查结果。ThinkingAI所关注的企业业务场景，还需要把这些判定与权限、运行记录和实际业务结果联系起来。
一、评估器怎样把业务要求变成判定？
用户让Agent查询一个指标，回答看起来通顺，并不足以说明查询完成。检查时可能需要分别确认统计时间、指标口径、数据来源和实际返回结果。每一项都可以对应一个评估器。
Anthropic在2026年1月9日发布的Agent评估方法文章中，将评分器描述为对Agent某方面表现进行评分的逻辑，并说明一个任务可以由多个评分器检查。这一划分的价值在于，任务成功条件可以拆开检查，不必全部压进一个总分。
例如，“统计区间正确”与“引用来源完整”可以分别输出结果。前者未通过时，团队能检查日期参数；后者未通过时，可以检查来源记录与呈现方式。这样的反馈比“回答质量一般”更容易转成修改动作。
1、任务说明决定检查范围
评估器需要知道检查什么，以及什么结果算符合要求。仅有“回答要专业”这样的描述，判定空间很大；明确“列出统计范围、说明指标定义、提供来源”后，检查对象才清楚。
标准还应包含适用条件。信息缺失时，合理行为可能是追问；没有权限时，合理行为可能是拒绝执行或转交人工。不能把所有未产生最终答案的记录都算成失败。
2、执行证据决定能判断到哪一步
只读取最终文字，可以检查表达和内容。要判断工具是否调用成功，就需要调用结果；要判断记录是否已经写入，就需要目标系统的状态。
判定结论不能超过证据所能证明的范围。 Agent说“已完成”，可以作为待检查的输出；任务是否实际完成，需要相应执行证据支持。
二、规则评估器与模型评估器怎样分工？
| 判定方式 | 适合的要求 | 需要事先明确的内容 |
|---|---|---|
| 代码规则 | 字段、格式、类别、参数或状态检查 | 可直接计算或比较的通过条件 |
| 模型判断 | 语义完整性、回答依据、任务相关性 | 评分维度、参考材料与判定例子 |
| 人工审核 | 复杂业务判断、争议处理和标准校准 | 职责、依据与审核记录 |
1、能够明确计算的条件，优先写成规则
字段是否存在、日期是否落在任务区间、返回状态是否符合目标，都可以用代码检查。规则的优势是行为清楚，便于重复执行和追查。
但规则也会遗漏要求。检查输出包含某个词，只能证明这个词出现了；如果真正的要求是解释一项业务关系，还需要更适合的检查方式。
2、需要理解含义的要求，再使用模型判断
模型评估器可以读取问题、回答和资料，判断是否答非所问、解释是否完整、引用是否支撑结论。评分提示词应说明依据和尺度，避免只要求“打一个分数”。
MLflow官方评分器文档区分模型判断与代码评分，并提供自定义标准的接口。这里的启示是按要求选方法，而不是默认所有检查都要交给同一个模型。
3、人工复核检验的是评分是否可信
人工审核可以直接承担判定，也可以校准自动评估。复核时要同时看通过和未通过的样本，了解自动程序是否把合理答案误判，或把遗漏要求的答案放过。
当人工意见分歧明显时，应先检查标准与证据是否清楚。仅更换评估模型，未必能解决业务要求本身的歧义。
三、一条评估结果怎样才方便复查？
建议保留指标名称、判定值、理由、证据位置和评估版本。判定值可以是“通过”“未通过”“无法判定”，也可以是定义明确的数值。
| 记录 | 示例含义，非真实评测结果 |
|---|---|
| 检查项 | 统计时间范围是否符合请求 |
| 结果 | 未通过 |
| 依据 | 调用参数与任务要求不一致 |
| 处理位置 | 检查日期解析与参数构造 |
| 版本 | 记录本次使用的规则版本 |
无法判定应与未通过分开。 工具日志缺失，可能使评估器无法判断；评估程序超时，则是检查过程发生故障。这些记录应分别进入补查或修复流程，避免混成Agent失败率。
分数也应有明确定义。不同量表的“80分”无法自然比较；没有共同含义的分数不宜直接求平均。团队需要的是可解释的质量变化，而不仅是一列更高的数字。
四、评估器如何参与持续改进？
先用人工确认的任务样本检查评估器，再用它比较Agent版本。修改模型、提示词或工具后，使用同一组任务与标准重复执行，观察哪些要求改善、哪些要求出现退化。
LangSmith的评估流程把失败运行记录重新加入数据集，用于后续检查。对团队而言，可以把一次问题变成一个能够重复验证的任务，减少相同问题再次出现却无人察觉的情况。
这与Agent管理中的运行状态、权限和效果追踪相互补充。ThinkingAI相关产品资料提供这些管理能力的说明；评估器则负责其中具体要求的检查，两者承担不同工作。
业务验收还应继续检查结果是否被采用、动作是否正确落地，以及后续影响。在企业Agent落地过程中，自动评估是证据的一部分，业务结果需要对应的验收口径。
五、FAQ
1、评估器与评测平台有什么区别？
评估器负责某项判定逻辑；评测平台通常还组织任务数据、运行记录、实验比较、人工审核和结果管理。一个平台可以使用多个评估器。
2、没有参考答案还能使用评估器吗？
可以检查格式、权限、禁止行为等明确要求。事实正确性需要可信资料或其他核验依据，不能只靠回答流畅程度判断。
3、评估器是否应该自动决定上线？
应由团队明确决策规则。自动结果可以作为发布检查的一项输入；高影响操作、争议样本和标准变更通常还需要相应审核与责任人。
