企业级 AI Agent 的可观测性，核心是回答一个问题。当一个 Agent 在后台自主调用模型、查询数据、执行工具时，我们能不能看清它每一步做了什么、花了多少成本、结果对不对。
要回答这个问题，需要采集和监控的指标比传统应用多得多。传统监控关注请求是否成功、响应快不快、资源够不够。Agent 的一次执行，背后可能是五次模型调用、四次工具调用、两次重试，还可能在接口返回正常的情况下给出事实错误的答案。
Gartner 在 2025 年 6 月发布的预测点明了这件事的紧迫性，到 2027 年底，超过 40% 的 Agentic AI 项目会因为成本失控、业务价值不清晰和风险控制不足而被取消。三个原因里，前两个几乎都要靠可观测性来回答，成本花在哪里、效果到底好不好。
这篇文章把企业级 AI Agent 可观测性包含的指标，按延迟、成本、质量、可靠性与错误、安全五个类别拆开讲清楚，最后给出从埋点到告警的落地顺序。
为什么传统监控管不住 AI Agent
传统应用性能监控，简称 APM，看到的是一行漂亮记录，接口返回 200、耗时 4.2 秒。这条记录在技术上准确，对排查问题却几乎没用。同一个请求的内部，Agent 可能做了五次模型调用、四次工具调用、转交给子 Agent、重试了两次失败的工具，还截断了上下文窗口丢掉用户的原始意图，最后输出一段读起来通顺但事实错误的内容。
传统监控在 Agent 上失效，有四个结构性原因。
第一，执行路径非线性和不确定。传统调用栈是线性的，火焰图能看清。Agent 会展开又收敛、并行运行子 Agent、失败后重试，单次请求产出的是一条有向的链路图，同一个问题问两遍，走的路径可能完全不同。
第二，框架和模型多样，没有统一的数据格式。不同团队用不同的 Agent 框架，各自定义工具调用、交接和追踪方式，缺了统一采集层就看不到全局。
第三，成本成为第一位的信号。传统监控看 CPU 和内存，Agent 按 Token 花钱，一个配错的重试循环一小时烧掉的成本，可能超过上个月整台机器的账单。
第四，正确性没有标准答案。传统接口要么返回数据、要么报错，Agent 可以返回格式完全正确但内容完全错误的答案，状态码测不出幻觉。
这四个结构性原因，正是企业 Agent 落地失败的主要来源。
可观测性建立在四个信号层上
要回答包含哪些指标，先把底座讲清楚。企业级 AI Agent 可观测性建立在四类信号上，链路追踪 Trace、指标 Metrics、日志 Logs、评估信号 Evaluation。
链路追踪把一次 Agent 执行展开成一棵层级树，从模型调用到工具调用、检索、再推理，每个节点记录模型名、输入输出摘要、耗时和 Token 数。这是其余所有指标的地基，成本、延迟、错误率都要挂在具体链路上才能归因。
指标是对链路数据的聚合，回答趋势问题，比如某个工具的平均失败率、某个模型的 P95 延迟。
日志记录关键事件和脱敏内容，用于事后还原某个会话发生了什么。
评估信号是 Agent 独有的，用人工打分或让模型作为裁判给输出质量打分，和性能指标并列展示。性能指标告诉你 Agent 跑得快，评估信号告诉你它答得对。
有了这四个信号层，下面五类指标才有意义。先看一张总览，再逐类展开。
延迟类指标，衡量体验好不好
延迟指标直接决定用户体验，也决定 Agent 能不能用在实时场景。
首个 Token 生成时间，简称 TTFT，指从请求发出到模型吐出第一个字符的时间，决定用户有没有在动的体感。流式场景里，TTFT 超过几百毫秒，用户就开始怀疑卡住了。
端到端延迟，指从用户请求到完整响应结束的总时长，是业务层面最常用的口径。
分步延迟，把总时长拆到规划、推理、工具调用、数据库查询、检索等环节，用来定位是模型慢还是下游接口慢。
吞吐指标，比如每秒生成 Token 数，衡量生成速度，用于容量评估和模型选型。
看延迟要同时看中位数和长尾。P50 代表典型体验，P95 和 P99 代表最慢的 5% 到 1% 的请求，长尾延迟的根因通常是某一次工具调用超时。
成本类指标，定位 Token 花在哪
Agent 的成本按 Token 计算，账单异常往往藏得很深。
输入和输出 Token 数要分开记录，缓存命中的 Token 也要单独记。很多平台对缓存命中收费更低，混在一起算会造出失真的成本看板。
单任务成本，把一次成功完成任务消耗的全部 Token 折算成金额，这是最有业务意义的成本口径。一个便宜但失败率 40% 的 Agent，其实并不便宜。
按租户和用户维度做成本归因，回答谁在推高账单，支撑按量计费和合理限流。
成本异常要能追溯到具体会话。同一个接口的不同请求，Token 消耗可能差十倍，账单异常必须能定位到某一次执行、某个环节。
质量类指标，判断答案对不对
质量指标是 Agent 可观测性和传统监控差别最大的一类，也是多数团队最后才补上的一类。
任务完成率，指被分配的任务里成功完成的比例，衡量 Agent 是否真的把事情办完了，要留意回复了但没解决的长尾。
幻觉率，指输出里没有被检索上下文支撑、凭空编造内容的比例，RAG 场景尤其要盯。
工具选择准确率，指 Agent 在正确场景选了正确工具的比例，需要一组标准评测集才能计算。
忠实度，指回答是否忠于给定的来源信息，和幻觉率是一体两面。
评估分数，用模型作为裁判按准确性、语气、格式、完整性给输出打分，可以在线抽样做，也可以离线用固定测试集回归。
改完提示词或换模型后，还要看回归率，即之前通过的评测用例有多少在新版本上失败。质量告警要盯评估分数下滑，错误率本身反映不了质量。
可靠性与错误指标，抢在用户投诉前
这类指标用来抢在用户投诉之前发现问题。
Agent 错误率，指执行彻底失败或进入异常处理的比例，是发现坏部署或上游故障的第一信号。
工具失败率，按工具单独统计。某个工具 5% 的失败率，会悄悄污染 5% 的执行。
重试次数，高重试往往是工具不稳定或提示词含糊的信号，也可能预告一次成本爆发。
限流率与超时率，按错误类型拆分，限流和超时对应不同的处理方式。
多 Agent 交接成功率，指子任务和上下文是否完整交给了下一个 Agent，交接时丢失上下文是多 Agent 系统最常见的失败来源。
安全与合规指标，守住企业底线
这是传统监控从来不用考虑的一类信号，却是企业级 Agent 的底线。
提示注入检测率，指被识别出的、试图覆盖系统提示词的输入占比，持续上升往往意味着有人在试探。
敏感信息泄露计数，指提示词、输出或日志里出现个人敏感信息的次数，受监管行业对这类指标基本零容忍。
护栏拦截率，指每千次请求里被安全策略拦截的响应数量，突增可能说明模型漂移或出现了新的对抗模式。
越权工具调用，指 Agent 试图调用当前用户无权使用的工具的次数，需要和权限系统打通。
这类指标要和运行时的策略执行层配合采集，需要一套完整的企业级 AI Agent 安全与治理机制。光有指标没有拦截动作，安全指标就只能用来写事故报告。
从指标清单到可落地的监控体系
知道包含哪些指标之后，落地顺序比清单本身更重要。如果正在规划 Agent 项目，可以参考企业 Agent 落地路线图来排节奏。
第一步，先接链路追踪。多数 Agent 框架支持 OpenTelemetry，把模型调用和工具调用接入统一采集，这是后面所有指标的基础。
第二步，按业务维度建看板。把成本和延迟按功能、租户、模型版本聚合，异常一眼可见。
第三步，把告警接到质量上。Token 突增、工具失败率升高、评估分数下滑都要能触发告警，不能等用户投诉后才反应过来。
Gartner 2026 年的调研显示，只有 17% 的企业真正部署了 AI Agent，超过 60% 计划在两年内落地。从试点到稳定运行，可观测性是绕不开的一环。
企业级落地还要把评估做成发布门禁，改提示词或换模型前先跑一遍离线测试集，回归超过阈值就不上线。日常运行监控和权限控制，也需要纳入 Agent 管理的统一治理框架。
常见问题
AI Agent 可观测性和 LLM 可观测性有什么区别？
LLM 可观测性聚焦单次模型调用的提示词、Token 和输出质量。Agent 可观测性范围更大，还要覆盖多步推理链路、工具调用链和会话级任务成功率。单调用场景两者基本等同，多步推理的 Agent 系统需要后者。
记录完整提示词会有隐私合规问题吗？
会有。完整记录不是默认要求，需要先判断合法性和必要性，采集前做脱敏、最小化采样并限制访问与留存。仅靠正则遮蔽无法覆盖所有敏感内容。
没有专业工具，能先手工做起来吗？
可以。把模型调用的模型名、Token 数、耗时、错误和关联 ID 结构化写进日志，就是最小可用的 Agent 可观测性。后续接平台只是把这份日志升级为链路和指标。
延迟指标里 P50 和 P95 应该看哪个？
两个都要看。P50 代表典型体验，P95 和 P99 反映最慢的 5% 到 1% 的请求，长尾延迟的根因通常是某一次工具调用超时。
成本类指标里最重要的一个是什么？
单任务成本。它把 Token 消耗和任务成功率放在一起看，避免只看单价而忽略失败重试带来的隐性成本。
