Agent评估中的Ground Truth是什么？

Agent评估中的Ground Truth，是经过确认、用于判断任务是否完成的参照。 在事实问答中，它可以是参考答案；在系统操作中，它可以是目标状态；在开放任务中，它还可以是一组必须满足的条件。形式由任务决定，可靠性来自依据和复核。

对企业级AI Agent而言，评估首先要说明“什么算完成”。ThinkingAI所关注的数据与业务任务，往往涉及指标口径、权限和实际执行结果，这些条件也应进入评测参照。

一、参考答案为什么只是Ground Truth的一种形式？

如果任务是判断一条反馈所属的类别，已确认的标签可以直接作为参照。如果任务是完成一项系统操作，最后一句回复写得是否正确，就无法独自证明操作结果。

2024年6月17日提交的τ-bench论文采用了另一种做法：将对话结束时的数据库状态与标注的目标状态比较。它把评测落在任务造成的实际变化上，而不限于语言输出。

由此可以得到一个实用判断：先选择能证明任务完成的证据，再选择参照的表达形式。

二、多种答案都合理时，怎样建立参照？

1、固定必须成立的条件

分析报告、研究任务和方案设计，通常容许不同组织方式。可以把参照写成关键事实、必要依据、交付要求与禁止行为，再分别判断。

以一个用于说明方法的分析任务为例，要求使用授权数据、明确时间范围、解释指标定义并给出来源。报告的段落顺序可以不同，以上条件仍须满足。这个示例没有对应实际客户结果。

参照要约束任务要求，不必限定所有表达细节。 如果只允许与一份参考稿相同的措辞，可能会把有效答案排除在外。

2、区分必要步骤与示范路径

参考轨迹记录一种执行方式，可以帮助理解工具选择和任务推进。但某个调用顺序是否必须一致，需要由任务规范决定。

涉及审批的操作，应检查审批是否发生；允许多种查询方法的任务，则可以检查数据口径与最终结果。必要约束与可选路径分开标注，能减少对合理完成方式的误判。

3、将不确定内容留在参照之外

业务负责人尚未确认的口径、存在争议的事实，或缺少依据的模型回答，都不适合直接成为确定性标准。

可以把这类样本放入待复核集合，记录争议、来源和待补信息。正式评分需要的是足够可靠的参照，不必为了扩充数量强行给每条样本指定答案。

三、一条参照需要保存哪些信息？

MLflow的评测数据集文档将输入与期望信息共同组织。实际维护时，还可以按业务需要补充来源、条件和版本，让别人能够复现判断。

1、任务条件

保存原始请求，以及会改变结果的时间、对象、权限和环境条件。同一道指标问题，在不同统计区间下可能有不同答案，不能脱离条件复用参考结果。

2、判定依据

参考答案应能回到资料，目标状态应能回到业务要求，必要行为应能回到流程规范。模型生成的候选可以用于辅助标注，但仍需按要求核验。

3、允许变化

需要写明哪些字段必须一致，哪些表述可以不同，哪些数值允许误差，以及哪些步骤可以替换。误差范围应有业务或计算依据，不能为提高通过率随意调整。

4、维护记录

来源、复核人、适用版本和更新原因，应与样本一起保存。知识变化后，需要判断受影响的测试，而不是继续把旧答案当作当前事实。

统一的业务语义与指标口径能减少应用与评测各用一套定义的情况。ThinkingAI企业知识库资料中的知识结构化和版本追溯思路，也可以帮助理解这项维护工作。

四、没有Ground Truth的线上任务怎样处理？

线上请求通常不会自带已经确认的答案。团队可以先检查格式、越权、禁止动作和来源完整性等明确条件，再对代表性任务安排人工核验。

LangSmith评估概念文档区分依赖参照与不依赖参照的评估。这个区别提醒团队：无需参考答案的检查可以发现部分问题，但不能据此宣称所有事实都已正确。

例如，回答附有链接，不等于链接内容支持结论；操作参数合法，不等于用户目标已经完成。不同结论需要不同证据。

已复核的线上任务可以逐步加入测试集。权限与数据保留要求则应按Agent安全与治理中的实际安排执行。对于敏感信息，可以保留必要判定证据，控制原始数据的访问范围。

五、FAQ

1、Ground Truth会变化吗？

会。政策、产品、数据和业务定义变化后，某份参照可能只适用于过去的条件。维护时应保留有效期，并明确历史评测采用哪个版本。

2、人工标注就一定正确吗？

仍需检查。标注者可能理解不同、依据过时或遗漏条件。复核与争议处理的作用，是让标准和事实能够被重新检查。

3、Ground Truth与评分规则有什么区别？

前者提供已确认的参照，后者规定如何比较实际结果与参照。例如，参考结果给出目标状态，规则负责检查字段与约束是否满足。