ThinkingAI Logo
返回博客列表

Agent Harness工程是什么?

Agent Harness 工程指围绕模型构建运行层,让 Agent 稳定调用工具、管理上下文与权限并完成任务。文章解释其组成、与 Prompt 工程和 Agent 框架的区别,并给出企业评估与起步方法。

2026-11-0511分钟
Agent Harness工程是什么?

Agent Harness 工程,指的是围绕大模型设计、测试和维护一整套运行环境,让模型能够稳定地调用工具、保存状态、遵守权限并完成多步任务。北京市多部门在 2026 年 7 月 21 日联合印发的《北京市关于加快智能体引领发展的若干措施》把 Harness Engineering 译为驾驭层工程,列入智能体底层共性技术攻关。模型提供能力,驾驭层负责把能力组织成可执行、可验收的工作。

一个常用的简化说法是,Agent 等于模型加 Harness。模型决定能理解什么、生成什么,Harness 决定它看到哪些信息、能碰哪些系统、出错后怎么继续、结果由谁确认。企业把 Agent 从演示推到生产,难点通常集中在这一层,这也是企业级 AI Agent 平台需要处理的核心问题。

理解这一层,能帮助团队判断一次 Agent 失败究竟该改模型、改提示词,还是改运行环境。

Agent Harness 工程是什么

Agent Harness 工程是一组围绕模型运行的工程工作。它要回答这些问题,模型在每一步看到什么上下文,能调用哪些工具,工具返回什么格式,任务状态存在哪里,哪些动作需要审批,失败后重试还是交给人,最后用什么标准判断任务完成。

从系统边界看,Harness 位于模型和业务应用之间。它接收业务任务,把任务拆成模型可以处理的步骤,组织工具调用和上下文,再把结果交回业务流程。Thoughtworks 在 2026 年 11 月发布的分析中把 Harness 描述为模型与工作之间的那一层,并列出它覆盖的内容,包括 Agent 加载的指令和技能、可调用的工具、权限和沙箱、上下文策略、步骤间状态、编排、评估和遥测。

微软 Agent Framework 官方文档给出了一个更产品化的描述。Harness 是把语言模型变成能执行任务的 Agent 的运行时脚手架,负责驱动模型和工具调用、管理会话状态与上下文、应用审批策略,并让 Agent 在多步任务中继续推进。

把这项工作拆开看,产出物包括配置、工具接口、上下文策略、权限规则、评测集、监控和版本记录。

Harness 包含哪些工作

不同团队的划分方式不同,落到工程任务上,常见的工作可以归为六类。

工作要解决的问题典型产物
上下文装配每一步给模型看什么系统指令、检索结果、指标定义、压缩策略
工具接口模型能做什么工具清单、参数结构、返回格式、错误码
状态与记忆多步任务如何接上会话历史、任务状态、长期记忆、文件工作区
权限与沙箱能碰什么、碰到什么程度角色权限、审批规则、隔离环境、审计日志
循环与编排任务如何推进计划、执行、重试、终止条件、多 Agent 分工
观测与评估怎么知道做得好不好全链路 trace、黄金任务集、成功率、成本

上下文决定模型每一步看到什么

Harness 首先要解决信息选择。企业的统一指标口径、产品文档、历史工单、权限范围,不可能一次全塞进上下文。哪些内容进入当前步骤,哪些内容压缩成摘要,哪些内容留在外部存储等待检索,都会改变模型判断。

长任务还需要历史管理。微软文档把历史持久化、上下文压缩、文件记忆和待办跟踪列为 Harness 的常见能力。它们共同决定 Agent 在多步任务中是否记得前面做过什么,以及上下文接近上限时能否继续。

工具和权限决定 Agent 能做什么

工具接口需要把 API 包成模型能理解的形式。参数是否明确,返回是否可解析,错误信息是否足够恢复,都会影响下一步。例如通过 MCP 协议连接内部系统时,工具清单、身份和权限边界需要一起设计。

权限要前置设计。哪些工具只读,哪些动作需要审批,哪些生产环境操作直接禁用,需要在 Harness 里写清楚。把权限留给每个团队各自配置,短期看灵活,长期会增加审计和事故处理成本。

状态、循环和协作决定任务能否走完

长任务需要状态。会话历史、任务清单、文件工作区、长期记忆,让 Agent 在下一步知道上一步做了什么,也让失败恢复有依据。

循环要有终止条件。最大步数、超时、失败重试上限、什么情况下交给人,都要写进运行规则。多 Agent 协作还要定义分工、交接格式和冲突处理。分工不清时,增加 Agent 数量只会放大协调成本。

观测和评估决定改进是否有依据

没有 trace,团队只能看到最后一句回答,无法判断问题出在上下文、工具、模型还是权限。运行记录至少应包含每次模型调用、工具调用、返回结果、耗时、成本和人工接管点。

评估要基于真实任务。Thoughtworks 建议从实际工作里抽 20 到 30 个任务做黄金测试集,和 Harness 一起版本化,每次有意义的改动都跑回归,并把成本和延迟当成一等指标。这套做法比只看 token 消耗或演示效果更接近生产。

Harness 与 Prompt 工程、Agent 框架的区别

Prompt 工程主要处理指令怎么写,Harness 工程处理指令之外的一整条运行链路。系统 Prompt 是 Harness 的一个组成部分,工具、状态、权限、评估、回滚也在其中。

Agent 框架提供可复用的组件,例如模型客户端、工具调用、会话、上下文提供者、中间件和可观测接口。Harness 是团队针对某类任务配置出来的运行方式。同一个框架可以搭出不同的 Harness,效果取决于工具设计、上下文策略、权限规则和评测质量。

论文提供了一个直接对照。2026 年 4 月提交到 arXiv 的《Agentic Harness Engineering》固定基础模型,只修改模型之外的工具、中间件、长期记忆和可观测系统。十轮迭代后,Terminal-Bench 2 的 pass@1,也就是一次尝试的通过率,从 69.7% 提升到 77.0%,高于人工设计的 Codex-CLI 的 71.9%。同一套冻结后的 Harness 迁移到另外三个模型家族,在 Terminal-Bench 2 上仍带来 5.1 到 10.1 个百分点的提升。消融实验把主要增益归因于工具、中间件和长期记忆,系统 Prompt 的贡献有限。

这篇论文是 arXiv 预印本,结论适合作为工程方向的参考,不能当成对所有任务的效果保证。它至少说明,模型不变时,运行层仍有可观的优化空间。

为什么 Harness 会影响任务完成率

政策信号是原因之一。北京市多部门在 2026 年 7 月 21 日联合印发的《北京市关于加快智能体引领发展的若干措施》第二条提出,支持创新主体实施驾驭层工程,也就是 Harness Engineering,围绕上下文工程优化、任务持久化、多智能体协作、系统可扩展等夯实智能体共性底座。文件同时提到中间层软件栈、开发框架、运行管理、跨模型跨框架互通和智能体安全可控技术栈。

更直接的原因来自生产现场。演示环境里,任务短、工具少、错误可以人工兜底。进入生产后,Agent 要面对长任务、真实数据、多人协作和审计要求。Thoughtworks 描述过一种常见状态,原型能跑,几个月后留下的是一个 Markdown 文件夹、几个包装脚本、一份配置文件,以及一个知道重试逻辑为什么存在的人。这样的系统难以升级、审计和交接。

企业之间的 Harness 很难直接复制。每家公司有自己的数据口径、流程节点、权限体系、业务术语和异常处理方式。模型可以采购,Harness 需要按企业环境配置和验证。这也是同一套模型在不同公司会呈现出不同任务完成率的原因之一。

企业怎样判断 Harness 是否合格

判断 Harness 是否合格,可以看四类证据。

维度要看什么可用的指标
任务结果真实任务能否完成黄金任务集通过率、人工接管率
成本一次成功任务花多少单次成功任务成本、重试率、平均步数
风险出错后能否定位和止损trace 覆盖率、审批命中率、回滚耗时
变更上次改动是否带来提升回归通过率、版本对比结果

单次成功任务成本值得单独算。把推理、工具调用、失败重跑、人工接管和延迟都算进去,比只看每百万 token 价格更接近业务感受。一个便宜但经常重跑的 Harness,可能比单价更高但一次做对的 Harness 更贵。

Thoughtworks 还给了三个管理问题。谁对 Harness 负责,团队怎么知道上一次改动让它更好,它被允许接触哪些数据、工具、凭证和生产系统。三个问题都答不上来,Harness 还停留在个人配置阶段。

哪些企业需要把 Harness 当工程来做

如果 Agent 只做一次性问答,Harness 的投入可以很轻。任务一旦涉及多步操作、内部系统、权限或审计,Harness 就会成为主要成本。这个判断标准比按公司规模划分更实用。

三类场景更适合优先投入。

  • 高频且结果可验证的任务,例如客服工单归类、SQL 取数、报表异常排查。任务重复越多,评测和复用的价值越高。
  • 需要接触内部系统的任务,例如查询订单、修改配置、发起审批。工具和权限边界越复杂,Harness 的作用越明显。
  • 多角色协作或需要审计的任务,例如运营策略执行、数据分析报告生成。谁做了什么、依据是什么、结果由谁确认,都需要运行记录和 Agent 治理。

起步时先做三件事。选一个窄任务,定清工具和权限,建立最小评测集和 trace。单 Agent 的任务完成率和成本稳定后,再评估多 Agent 协作。这个顺序能避免一开始就陷入复杂的编排。

如果企业缺少平台工程团队,从零搭 Harness 的周期通常较长。ThinkingAI 的 Agentic Engine定位为企业级 AI Agent 平台,支持 Agent 创建与管理、多 Agent 协作和私有化部署,并提供权限控制、任务调度和运行监控等 Agent 管理能力。ThinkingAI 企业知识库把内部文档、报表和指标口径加工成 Agent 可调用的结构化知识。对于要在自有数据和权限边界内运行 Agent 的团队,这类平台可以承接工具接入、知识供给、运行管理和可观测的一部分工作。公开资料显示,ThinkingAI 已服务全球 1500 家企业,接入产品超过 8000 款。具体能力仍需按任务、权限和验收标准逐项确认。

常见问题

Agent Harness 和 Agent 框架是一回事吗

两者经常一起出现,边界不同。框架提供组件和接口,Harness 是团队用这些组件配置出来的运行方式。同一个框架可以做研究 Agent、客服 Agent 或数据分析 Agent,差别主要在 Harness。

Harness 工程就是写系统 Prompt 吗

系统 Prompt 是其中一层。Harness 还包括工具接口、状态保存、权限、沙箱、重试、观测和评估。论文的消融实验也显示,工具、中间件和长期记忆对结果的贡献高于单纯修改系统 Prompt。

小团队需要做 Harness 工程吗

看任务是否要进入生产。一次性问答或内部演示,可以从简单配置开始。任务涉及多步操作、真实数据、权限或审计时,就需要把 Harness 当成工程对象管理,否则问题会以偶发失败的形式反复出现。

Harness 能保证 Agent 不出错吗

不能保证。Harness 的作用是降低常见失败、让错误更早暴露、把影响限制在可控范围。权限最小化、关键动作审批、沙箱隔离、重试上限和回滚机制仍然必要。

多 Agent 是不是一定比单 Agent 好

不一定。多 Agent 适合可以清晰分工、交接格式稳定的任务。分工不清时,协调成本和验证成本会上升。建议先把单 Agent 的任务完成率和成本跑稳,再评估多 Agent。

模型升级后 Harness 还要维护吗

要。模型能力变化会改变工具调用习惯、上下文需求和失败模式。Harness 需要重新跑评测集,确认原有工具描述、权限规则和压缩策略仍然适用。

参考资料

准备好构建你的 Agent 团队了吗

立即体验 Agentic Engine, 让 AI 成为真正的团队成员

ThinkingAI Big Logo
电话咨询