到 2028 年，Gartner 预测将有 33% 的企业软件应用内置智能体能力，这一数字在 2024 年还不足 1%，同时至少有 15% 的日常工作决策将由 AI Agent 自主做出。当 Agent 从演示走向生产，团队面对的核心问题也随之改变，大家真正要回答的是，Agent 每一步做了什么、这次为什么失败、成本究竟花在了哪里。
这正是 AI Agent 可观测性要解决的问题。简单说，它通过结构化轨迹数据，记录并分析 Agent 从接收请求到产出结果的完整执行过程，让每一次推理、每一次工具调用、每一笔 Token 开销都可见、可查、可验证。
一、AI Agent 可观测性是什么
AI Agent 可观测性，指通过采集结构化轨迹、指标与逐步评估，洞察 AI Agent 内部状态与行为的一整套方法。它与传统系统监控只盯请求、错误和延迟不同，记录的是 Agent 的完整执行轨迹，从接收提示词到调用工具，再到产出最终结果。
它与两个相近概念需要分清。
LLM 可观测性聚焦模型调用本身，关注提示词、响应、Token 用量、延迟和错误率。Agent 可观测性覆盖的范围更宽，还要纳入工具调用、状态与记忆、多 Agent 交接，以及跨会话的完整任务轨迹。
可观测性与评估也是两件事。可观测性记录一次运行中发生了什么，评估则依据既定标准，对这条记录判断结果、轨迹、工具调用和约束是否达标。前者负责把过程留痕，后者负责对过程下结论，两者配合才能形成闭环。
二、为什么传统监控手段不够用
传统 APM 擅长回答哪台服务慢了、哪个接口报错，却看不到 Agent 的内部推理。Agent 有两个特性让传统监控失灵。
一是非确定性，相同输入可能得到不同输出，问题不一定复现，靠固定告警阈值很难捕捉。
二是长链路放大误差。一次任务往往包含数十次模型调用和工具调用，单步正确率看似很高，整条链路成功的概率会迅速衰减。单步正确率 99%，跑完 100 步的整体成功率约为 36.6%；单步正确率提升到 99.9%，100 步整体成功率也只有约 90.5%。也就是说，即便每一步都接近可靠，多步叠加后失败仍会发生，而且很难定位到具体哪一步。
此外，Agent 还会以传统软件不具备的方式失效，包括静默回归、幻觉、工具调用错误和成本失控。这些失效方式不体现在 HTTP 状态码里，必须靠新的信号维度才能发现。
三、可观测性要采集哪些信号
一套完整的 Agent 可观测性通常覆盖四类信号。
轨迹是核心。它把一次任务拆成层层嵌套的 Span，一个根 Trace 下面包含多个子 Span。LLM 调用 Span 记录输入输出 Token、模型、温度、延迟和结束原因，工具调用 Span 记录工具名称、入参、出参和耗时，记忆读写 Span 记录读写类型与命中情况，交接 Span 记录源 Agent、目标 Agent 与上下文大小，推理 Span 记录中间思考与决策分支。
指标把轨迹聚合成可追踪的趋势，常见的有任务成功率、端到端延迟、Token 用量与成本、错误率。
日志记录事件级细节，包括提示词、响应内容和异常事件，用于回溯单次执行。
评估让模型或规则对输出打分，衡量正确性、事实性与质量，把输出质量变成可量化的信号。
这些信号的统一格式很关键。OpenTelemetry GenAI 语义约定提供了一套共享 Schema，让不同框架产出的轨迹可以互通，也方便把 Agent 的遥测数据与现有 APM、基础设施监控放进同一套体系。
四、关键指标怎么定
指标要围绕四个层面设定，缺一不可。
运行质量层看 Agent 是否稳定可用，包括任务完成率、单步成功率、首 Token 延迟、端到端延迟和错误率。
成本层看钱花在哪里，包括单次任务 Token 总量、输入输出 Token 拆分、单任务成本与重试成本。
质量与安全层看输出是否可信，包括评估得分、幻觉率、拒答率、内容安全命中与策略违规。
业务结果层看 Agent 是否真正创造价值，包括转化率、任务采纳率、人工接管率与用户留存。
同一个指标必须使用同一套口径。比如成本上升，是因为无效重试和过长上下文，还是因为任务完成率同步提升，只有口径一致才能判断。
五、怎样落地一套可观测性体系
落地可以按五步推进。
第一步，统一会话与 Trace ID。给每个会话和任务分配稳定 ID，贯穿所有模型调用、工具调用与交接，让一条任务的所有证据串联起来。
第二步，按 Span 采集每一步。对 LLM 调用、工具调用、记忆读写和子 Agent 交接分别埋点，采集执行状态、耗时与 Token 用量。
第三步，定义指标口径。先定清楚任务完成率、成本、错误率怎么算，避免不同团队各算各的。
第四步，建立评估。对关键输出持续打分，把质量放进可追踪的指标里。
第五步，形成闭环。从失败、长耗时、异常 Trace、Token 波动等聚合信号发现问题，下钻到单次 Trace 核对关键证据，诊断后给出改进建议，调整后再按同一口径复核效果。
以 ThinkingAI 的 Agentic SDK 为例，它通过 Trace 采集调用关系、执行状态、耗时和 Token 使用等结构化数据，并把 Agent 运行过程与用户操作关联到同一会话中。AI Monitor 观测平台承接这些数据，从聚合信号定位问题，再下钻到单次 Trace，核对会话、模型、工具与技能的执行证据，智能诊断给出问题说明、相关证据与改进建议。这样可观测性就把运行质量、用户体验和业务结果放进同一条证据链。
六、落地中的常见难点
跨 Agent 交接最容易被忽略。多 Agent 协作时，上下文在交接处丢失、任务被重复执行、部分完成被上层掩盖，都发生在交接边界。统一的 Trace ID 和交接 Span 是解决这类问题的基础。
成本归因是另一处难点。Token 波动可能来自无效重试、过长上下文，也可能来自更高的任务完成率，需要把成本与结果放在一起看，而不是单独压成本。
隐私与合规需要前置。提示词和响应可能含敏感信息，采集前要做好脱敏与访问控制。
评估与观测不能割裂。只看延迟和错误率，会漏掉输出质量下滑这类静默回归。把评估结果作为一等指标持续追踪，才能发现说不清楚但确实在变差的问题。
七、常见问题解答
Agent 可观测性和 LLM 可观测性有什么区别
LLM 可观测性聚焦模型调用本身，关注提示词、响应、Token 和延迟。Agent 可观测性在此基础上，还要覆盖工具调用、状态与记忆、多 Agent 交接和跨会话任务轨迹，回答的是整条任务链路上发生了什么。
最小可观测性要采集哪些数据
至少要有一套稳定 ID 贯穿会话，按 Span 记录 LLM 调用、工具调用的状态、耗时和 Token，并保留输入输出用于回溯。先跑通轨迹和基础指标，再逐步增加评估。
可观测性能解决幻觉吗
可观测性本身不能消除幻觉，它能记录幻觉发生在哪一步、什么输入下发生、频率多高。配合评估与治理，才能定位根因并持续改进。
自建还是用平台
如果团队已有成熟的 APM 和工程实践，可以基于 OpenTelemetry 语义约定自建。如果要快速覆盖 Agent 特有的信号，并连接运行质量与业务结果，选用企业级 Agent 平台的观测能力成本更低。
Token 用量突然上升怎么排查
先看是输入还是输出 Token 增长，再下钻到单次 Trace，判断是上下文过长、无效重试，还是任务复杂度变化，最后结合任务完成率判断这笔成本是否换来了结果。
可观测性和评估是一回事吗
两者分工不同。可观测性记录过程，评估对过程下结论，两者配合，一条 Agent 任务既能被完整留痕，也能被持续打分和复盘。
