智能体本地部署后仍会消耗 Token。平台采用本地部署时，任务编排、权限控制、工具调用和记忆存取运行在企业控制的环境里。Token 是否形成费用，要看模型推理发生在哪里，以及模型服务按什么方式结算。平台本地化与模型本地化可以分开。调用方式决定请求走向，合同决定请求如何计价，这也是同类方案账单差异很大的原因。
如果智能体调用云端模型 API，输入和输出通常按 Token 计费。Amazon Bedrock 的文档写明，推理请求中的输入 Token 会计入请求成本，CountTokens 返回的数量与实际推理计费口径一致。模型也部署在本地时，通常不会出现按 Token 的 API 账单，本地服务仍会统计输入和输出 Token，成本转移到 GPU、电力、机房和运维。
Token 在模型推理时产生
Token 是模型处理文本的基本单位，可能对应一个汉字、词的一部分或标点。不同模型的分词方式不同，同一段文字在不同模型里的 Token 数也会不同。Amazon Bedrock 的文档也指出，Token 计数与模型相关，因为不同模型使用不同的分词策略。智能体场景常见的类型有输入 Token、缓存输入 Token、输出 Token 和推理 Token。OpenAI Agents SDK 的使用量文档把这些类型分别记录，并汇总一次运行中的所有模型调用，包括生成工具调用和任务转交的调用。
本地推理同样计数。Ollama 的 API 文档在返回结果中给出 prompt_eval_count 和 eval_count，分别表示提示词和生成内容的 Token 数。没有外部供应商账单时，这些数字仍可用于容量规划和性能分析。
Token 消耗反映模型工作量，Token 费用反映结算关系，两者相关，不能互相替代。
判断是否计费看三个位置
同样叫智能体本地部署，账单可能完全不同。把方案拆成三个位置，判断会清楚很多。
| 位置 | 发生了什么 | 费用落在哪里 |
|---|---|---|
| 智能体运行时 | 任务拆解、工具调用、权限控制、记忆存取 | 私有化软件许可、订阅、运维人力，通常不按 Token 计费 |
| 模型推理 | 本地 GPU、私有云或云端 API 完成生成 | 本地算力摊销，或云端按输入输出 Token 计费 |
| 模型服务合同 | 自建、订阅、按量、项目制 | 决定账单是否随 Token 变化 |
三个位置里，模型服务合同容易被忽略。采购看到的是软件私有化许可，技术团队接的是云端模型 API，财务收到的是另一张按量账单。签合同前把模型端点、调用方式和计费单位列清楚，后面核算才不会混。
四种调用方式的计费结果
全部本地运行
智能体运行时和模型都在企业内网，模型权重由企业自己托管。对外不产生按 Token 的 API 费用。成本由 GPU 采购或租用、显存、电力、冷却、机房、模型许可和运维人员构成。Red Hat 在 2026 年 8 月的自托管 LLM 成本分析中给出一个口径，每 Token 成本等于同期运营成本除以处理的 Token 数。文中举例，月运营成本 5 万美元、处理 500 亿 Token，约合每百万 Token 1 美元。这个数字只用于说明算法，实际结果随硬件、利用率和模型规模变化。
本地智能体调用云端模型
智能体运行在企业内网，模型请求发往云端。输入 Token、输出 Token 和缓存输入 Token 按供应商价格计费，部分工具调用还会单独收费。数据留在本地覆盖的是运行时、存储和企业知识库，发给模型的提示词、附件和工具返回仍会离开本地。天融信在 2026 年 10 月的混合部署分析中提到，本地运行区承载智能体运行时、私有化模型、知识库和工具，外部区包括云端模型、外部工具与 MCP。一次任务可能同时经过两边。
本地与云端混合路由
常见做法是让本地小模型处理分类、路由、抽取和固定格式输出，把复杂推理交给云端大模型。Token 账单只覆盖云端部分，路由错误、重复调用和上下文重发会增加云端 Token。NVIDIA 在 2026 年 10 月的分析中区分了两种成本曲线，云端 API 按调用持续计费，自托管前期投入较高，边际成本主要是电力和硬件摊销，使用量达到一定程度后两条曲线才会交叉。
本地模型调用外部工具
模型推理在本地，智能体仍可能调用搜索、数据库、CRM、支付、邮件或外部 MCP 工具。这些服务可能按调用次数、订阅、流量或项目收费，通常不叫 Token 费用，却会进入同一张成本表。核算时把模型账单和工具账单分开汇总，才能看清哪一部分随用量增长。
本地部署省下了哪部分成本
用本地模型替代云端 API 时，减少的是模型 API 的变动成本。固定成本包括 GPU 服务器折旧、网络、存储、电力、冷却、机房空间、软件许可和运维人员。Red Hat 的文章把硬件、软件、人员和设施都列入自托管 LLM 的总拥有成本。硬件按四年折旧的例子中，50 万美元的节点每月约 1.04 万美元，这类固定成本在低负载时摊到每个 Token 上会很高。
是否划算取决于利用率。系统每天能处理 14.4 亿 Token，实际只处理 5 亿，单位成本会被闲置算力抬高。把多个内部 AI 业务放到同一集群、把批处理放到低谷时段，能提高利用率。模型规模也影响成本，8B 模型可能一张 GPU 就能运行，70B 模型可能需要四张 H100，量化能降低显存需求，也可能影响精度。
任务成功率同样进入成本。本地模型在参数规模、上下文窗口和工具调用稳定性上受限时，失败重跑和人工接管会抵消省下的 API 费用。NVIDIA 的观点是，针对任务微调较小的模型可以提前达到成本交叉点，前提是质量和成功率达标。
智能体为什么会放大 Token 消耗
聊天机器人通常一问一答。智能体要拆任务、查资料、调工具、检查结果，再决定是否继续。每一步都可能调用模型，每次调用都可能带上系统提示、历史对话和工具返回。OpenAI Agents SDK 的统计口径把一次运行中的所有模型调用汇总，包括生成工具调用和任务转交的调用。上下文越长，输入 Token 越多；步骤越多，累计调用越多。
输出 Token 的单位成本通常高于输入和缓存 Token。Red Hat 的解释是，输出 Token 需要逐个生成，占用 GPU 时间更多，输入 Token 可以并行处理，缓存 Token 可以直接读取。智能体如果生成大段报告、代码或表格，输出成本会明显上升。
缓存能降低重复上下文的费用，前提是供应商支持缓存，且请求前缀稳定。自托管场景的 KV Cache 能减少重复计算，仍不能消除 GPU 占用。多 Agent 协作还会增加调用次数，一个 Agent 的结论传给另一个 Agent，会形成新的输入。
企业核算 Token 成本的五个步骤
核算的目标是回答两个问题，钱花在哪个模型端点，每个成功任务花多少。按下面五步做，能把平台费用、模型费用和工具费用放到同一张表里。
第一步，盘点模型端点与合同
列出所有模型端点，包括本地模型、私有云模型、公有云 API 和第三方模型服务。每个端点记录部署位置、计费单位、单价、配额、超限规则和合同期限。采购合同和技术架构图要放在一起核对，软件私有化许可与模型 API 账单经常是两份合同。
第二步，拆分本地与云端流量
从调用日志中拆分本地流量和云端流量，再按任务类型分组。客服问答、报告生成、SQL 生成、代码修改的输入输出结构不同，平均 Token 差异很大。没有日志时，先在测试环境采集一批真实任务，不要只用聊天样例估算。
第三步，按任务估算输入和输出
一次任务的输入包括系统提示、历史对话、检索文档、工具返回和用户输入，输出包括答案、工具参数和结构化结果。用对应模型的 tokenizer 估算，再用实际 usage 字段校正。估算用于预算，账单以供应商用量为准。
第四步，建立每个成功任务的成本
把月度总成本除以成功任务数，得到每个成功任务的成本。总成本包括本地固定成本摊销、云端 Token、工具费用、重试和人工接管。这个指标能反映模型选型和流程设计的效果，比单看每百万 Token 单价更接近业务判断。
第五步，按指标优化
先处理占用较大的部分。常见动作包括缩短上下文、稳定缓存前缀、把简单分类和抽取任务路由到小模型或本地模型、限制输出长度、减少无效工具调用。每次调整后用同一口径复核，确认成本下降没有牺牲成功率。
| 指标 | 计算方式 | 用途 |
|---|---|---|
| 每百万 Token 成本 | 运营成本除以处理 Token 数，再换算为每百万 | 比较模型与部署方式 |
| 每个成功任务成本 | 月度总成本除以成功任务数 | 判断业务是否划算 |
| 重试率 | 重试调用数除以总调用数 | 发现模型或工具不稳定 |
| 缓存命中率 | 缓存 Token 除以输入 Token | 判断上下文复用效果 |
| 云端调用占比 | 云端 Token 除以总 Token | 控制混合部署账单 |
以 ThinkingAI 为例，Agentic Engine 支持私有化部署，企业可以在自有环境中创建和管理 Agent，支持多 Agent 协作。Agentic SDK 通过 Trace 采集调用关系、执行状态、耗时和 Token 使用等数据，AI Monitor 可以从失败、长耗时、异常 Trace 和 Token 波动中定位问题。平台本地、模型混合调用时，这类观测数据能把云端账单和本地任务对应起来。ThinkingAI 已服务全球 1500 家企业，接入产品超过 8000 款。
选型时先确认合同与调用边界
本地部署和云端 API 各有适用条件，决策可以从数据、调用量、能力和运维四方面判断。
适合优先本地模型的场景
- 数据敏感，不能离开企业内网。
- 调用量大且稳定，固定算力能被充分利用。
- 有 GPU 运维能力，能处理驱动、模型版本和容量规划。
- 任务边界清晰，本地模型的成功率达到业务要求。
适合优先云端 API 的场景
- 需求波动大，按量付费更灵活。
- 需要前沿模型能力，处理复杂推理、长上下文或多模态任务。
- 团队没有 GPU 运维经验，希望缩短上线时间。
- 调用量不足以摊薄本地硬件和运维成本。
混合部署要确认的六项
- 私有化软件许可覆盖哪些模块和用户范围。
- 云端模型 API 是否单独计费，按输入、输出还是缓存 Token 计价。
- Token 配额、超限规则和价格调整条款。
- 外部工具、MCP 服务和数据源的费用归属。
- 调用日志和 Token 用量能否导出，能否按任务、部门或租户拆分。
- 合同结束后的数据迁移、模型退出和残留数据处理方式。
无论选哪种方式，先把模型端点、调用路径和计费单位画出来，再谈单价。Token 消耗是技术指标，费用是合同结果，两者要在同一张表里核对。
常见问题
智能体本地部署后还会消耗 Token 吗
会。Token 是模型处理文本的计量单位，本地推理也会产生输入和输出 Token。是否形成费用，取决于模型是否调用外部 API，以及合同如何结算。
全本地部署的 Token 费用是零吗
全本地部署且不调用外部模型时，通常没有按 Token 的 API 费用。GPU、电力、机房、软件许可和运维仍有成本，摊到每个 Token 上可能高于云端，也可能更低，要看利用率。
本地部署的智能体为什么会调用云端模型
常见原因是能力、成本和延迟的平衡。敏感数据交给本地模型，通用知识或复杂推理交给云端模型，一次任务分两段执行。混合部署可以减少数据外发范围，也会带来跨域调用和账单拆分问题。
私有化部署的软件许可通常按 Token 收费吗
常见做法是按软件许可、订阅或项目制收费，也有合同把调用量或 Token 用量写入计价条款。采购时需要确认许可范围、模型 API 是否单独计费、超限如何处理。
如何估算一次智能体任务的 Token
先列出输入组成，包括系统提示、历史对话、检索内容、工具返回和用户输入，再列出输出组成，包括答案、工具参数和结构化结果。用目标模型的 tokenizer 估算，运行后用 usage 字段校正。
本地模型能替代云端 API 吗
取决于任务。分类、抽取、固定格式输出等边界清晰的任务，本地小模型可以承担。复杂推理、长上下文和高质量工具调用仍可能需要更大模型。混合路由是常见选择。
参考资料
- Amazon Bedrock 文档，Monitor your token usage by counting tokens before running inference，访问于 2026 年 10 月 28 日，https://docs.aws.amazon.com/bedrock/latest/userguide/count-tokens.html
- Ollama API 文档，访问于 2026 年 10 月 28 日，https://github.com/ollama/ollama/blob/main/docs/api.md
- Red Hat Developer，The tokenomics of self-hosted LLMs，2026 年 8 月 31 日更新，https://developers.redhat.com/articles/2026/08/19/tokenomics-self-hosted-llms
- NVIDIA Perspectives，When is owning your own fine-tuned, self-hosted open model worth it，2026 年 10 月 12 日更新，https://perspectives.nvidia.com/nvidia-open-models/faq/we-re-running-agents-around-the-clock-now-and-the-per-call-api-bill-only-goes-up-is-there-a-point-wh-2a8955/
- 天融信，混合部署场景下智能体安全要解决“看不全、看不清、看不细、管不深”，2026 年 10 月 14 日，https://c-csa.cn/news-detail/i-1350.html
- OpenAI Agents SDK，使用量，访问于 2026 年 10 月 28 日，https://openai.github.io/openai-agents-python/zh/usage/
