企业大模型应用落地，卡点通常在模型调用之前。立项时目标写得很大，演示也能跑通，进入真实业务后却发现三件事没人说清：任务边界、数据口径、验收标准。麦肯锡 2025 年对 105 个国家 1993 份问卷的调研显示，88% 的受访企业已在至少一个职能中常态化使用 AI，只有约三分之一推进全公司规模化，约 6% 的企业可称为高绩效企业。应用面已经很广，能把应用推到稳定产出的企业仍然不多。
中国信通院 2024 年发布的《大模型落地路线图研究报告》把落地分为诊断、建设、应用、管理四个阶段，以及能力分析、需求挖掘、方案设计、研发测试、应用开发、效能评估、运维监测、运营管理八个步骤。这套框架适合做项目检查表。已有项目经验的团队，可以对照企业 Agent 落地路线图检查阶段缺口。
企业开始第一轮应用时，更稳妥的做法是把范围缩到一个能在六周内验收的任务。下面按场景选择、验收卡、知识准备、技术路线、合规、试点和扩展七件事展开。
企业大模型应用先选哪类场景
一个适合首轮试点的任务，通常同时具备三个特征：输入输出以语言为主，任务重复发生，业务方愿意为结果负责。
可以用五个维度做一轮粗筛，每项 1 到 5 分。
| 维度 | 要问的问题 | 评分 |
|---|---|---|
| 任务频率 | 每天或每周都会发生吗 | 1 到 5 分 |
| 语言密度 | 输入输出主要是文本、对话、文档吗 | 1 到 5 分 |
| 人工成本 | 单次处理耗时多长，涉及几个人 | 1 到 5 分 |
| 结果可验证 | 有明确对错，或者能抽检吗 | 1 到 5 分 |
| 错误可撤销 | 出错后能人工拦截、修正或回滚吗 | 1 到 5 分 |
五项合计 18 分以上，进入候选；13 到 17 分，先补数据或缩小范围；低于 13 分，换场景。评分不是科学测量，它的作用是让业务、数据和工程在同一张纸上讨论。
客服政策问答、工单分类与摘要、销售拜访纪要、合同条款初审、运营周报、SQL 查询辅助，都容易在六周内看到结果。全公司知识大脑、自动放款定价、跨五个系统的端到端流程、没有基线的满意度提升，适合放在后面。
把候选场景控制在 10 到 15 个，由业务提名，业务、数据、工程、法务一起打分。最后只留一个进入试点，其他场景进入候补清单。
大模型落地分四段，每段都要有交付物
信通院的四个阶段可以落成一张项目表。每个阶段都要有交付物和通过条件，避免开完会就进入下一阶段。
| 阶段 | 主要动作 | 交付物 | 通过条件 |
|---|---|---|---|
| 诊断 | 盘能力、找场景、测基线 | 场景卡、数据清单、基线报告 | 业务负责人确定，指标可测 |
| 建设 | 设计方案、搭评测集、做原型 | 架构图、评测集、可演示原型 | 真实任务覆盖，准确率达到门槛 |
| 应用 | 开发上线、灰度、评估 | 上线版本、灰度方案、评估报告 | 小范围使用，人工接管可用 |
| 管理 | 监控、更新知识、复盘 | 监控看板、知识更新机制、责任表 | 连续四周稳定，有人维护 |
阶段之间可以并行一部分，顺序不能反。没有基线就进入建设，后面无法判断效果；没有评测集就上线，问题只能等用户投诉才暴露。
第一步，写清需求与验收卡
需求与验收卡控制在一页纸，写清九件事。
- 任务，谁在什么触发条件下使用
- 输入，问题、订单、文档、数据表分别来自哪里
- 输出，答案、摘要、建议、工单还是系统动作
- 人工确认，哪些结果必须由人确认
- 可执行范围，只读、建议，还是允许调用系统
- 范围外，明确不处理哪些问题
- 验收指标，准确率、引用正确率、人工改写率、处理时长、七日复用率
- 基线，当前人工处理的数值
- 退出条件，连续两轮不达标就停
以客服政策问答为例，卡片可以这样写。
| 字段 | 示例写法 |
|---|---|
| 任务 | 客服在用户询问退款政策时获取答案 |
| 输入 | 用户问题、订单状态、政策库版本 |
| 输出 | 答案、引用条款、需要人工确认的提示 |
| 人工确认 | 涉及退款金额与例外处理时必须确认 |
| 范围外 | 不直接执行退款，不承诺到账时间 |
| 验收指标 | 答案准确率、引用正确率、人工改写率、首次响应时间、七日复用率 |
| 基线 | 当前人工客服的抽检准确率与平均处理时长 |
| 退出条件 | 连续两轮评测低于约定门槛，停止试点 |
示例只说明写法，目标值按企业基线确定。这张卡由业务、数据、工程、法务共同确认，没有业务负责人签字，项目不开工。
第二步，先把知识和数据补齐
毕马威中国在 2025 世界人工智能大会期间提出，企业 AI 转型的首要挑战之一，是从数据治理升级到知识治理。大模型不仅要读结构化数据，还要处理文档、报告、对话记录等非结构化内容。
常见现象是上线第一个月效果不错，第二个月开始答错。政策更新了，文档还有三个版本；同一个指标，三个部门给出三种答案，缺少统一指标口径；原文档负责人调岗，没人知道哪份有效。模型没有变，知识环境变了。
上线前至少准备五件事。
- 同一概念只有一处定义，写清负责人和版本
- 每份文档有来源、有效期、权限标签
- 准备 100 到 300 条真实任务做评测集，包含边界问题和应该回答不知道的问题
- 更新有变更记录，能对比、能回滚
- 权限按角色、字段、数据行控制，敏感字段脱敏
知识库不是把文件上传就结束。没有负责人的文档，进了知识库仍然是孤儿。
ThinkingAI 的企业级知识库针对的正是这类问题。它用 Schema-first 方式把文档加工成实体图谱，通过统一接口供不同 Agent 调用；每次更新用 ChangeSet 记录，能对比、能回滚；同一概念只保留一处定义。它适合文档和报表分散、多个 Agent 需要共用口径的企业。前提是业务愿意把概念、规则和负责人定义清楚。
第三步，选技术路线不必从训练模型开始
多数企业的选择集中在三条路线。
| 路线 | 适合情况 | 代价与条件 |
|---|---|---|
| 调用已备案模型 API | 数据敏感度低，想快速验证 | 数据出内网，按量计费，依赖供应商 |
| 私有化部署开源模型 | 敏感数据、网络隔离、需要定制 | 硬件与运维投入，模型更新自行负责 |
| 混合 | 敏感走内网，非敏感走 API | 路由、权限、审计更复杂 |
预算优先放在场景、知识、评测和系统集成，模型能调用就先调用。 任务拆得够窄、知识足够完整、工具能接上，往往比换一个更大的模型更有效。
自建适合流程独特、工程团队稳定、长期要形成平台能力的企业。采购适合希望快速启动、需要权限治理和多 Agent 协作、内部缺少模型运维团队的企业。选型时重点看五件事：部署方式、数据权限、知识治理、评测能力、成本透明度。更完整的比较可以看企业级 AI Agent 平台选型指南。
ThinkingAI 的企业级 AI Agent 平台 Agentic Engine 属于平台型选择。它支持私有化部署，企业可以在平台上创建和管理 Agent，支持多 Agent 协作，把感知、分析、执行串成闭环。平台承接任务编排、知识调用、权限控制和运行监控，业务系统仍然负责记录和交易。
这类平台适合已有明确场景、数据负责人和私有化需求的企业。流程还没定义清楚、没有人对口径负责时，先补管理基础。ThinkingAI 已服务全球 1500 家企业，接入产品超过 8000 款，这些数据说明其服务范围，具体能力仍要按企业环境和版本核验。
第四步，权限与合规放在立项阶段
《生成式人工智能服务管理暂行办法》第二条把适用范围限定为向境内公众提供生成文本、图片、音频、视频等内容的服务。只在企业内部使用、不向公众提供，不适用该办法。第十七条规定，提供具有舆论属性或者社会动员能力的生成式人工智能服务，应开展安全评估，并履行算法备案手续。
面向公众的客服、营销、内容生成功能，在立项时就要确认服务对象、调用方式和登记备案路径。通过 API 调用已备案模型，再把 AI 功能嵌入对公众服务的产品，监管实践中仍可能被要求做应用登记。具体判断交给法务，按服务对象和实现方式确认。
技术和流程上至少过六项检查。
- 数据分级，列出个人信息、商业秘密、跨境数据
- 最小必要，能脱敏就不传原文
- 权限按角色、字段、数据行控制
- 记录调用日志、输出和人工修改
- 高风险动作保留人工确认
- 与供应商约定数据留存、删除、审计和事件响应
合规判断放在立项阶段。上线前才找法务，通常意味着改架构。 权限和审计的具体做法，可以参考企业级 AI Agent 安全与治理。
第五步，用六周跑完一轮试点
首轮试点控制在六周，每周有明确动作。
| 周次 | 主要动作 | 本周产出 |
|---|---|---|
| 第 1 周 | 定基线，抽评测集，确认人工流程 | 基线与评测集 |
| 第 2 周 | 做原型，跑通输入、知识检索、输出和引用 | 可演示原型 |
| 第 3 周 | 影子运行，AI 结果不直接给用户，与人工结果对比 | 错误清单 |
| 第 4 周 | 小范围开放，保留人工接管 | 试用反馈 |
| 第 5 周 | 复盘错误，补知识、改提示、修工具 | 修订版本 |
| 第 6 周 | 验收，决定扩、守或停 | 验收报告 |
试点团队只设一个负责人，业务、数据、工程、法务各出一名固定联系人。周会只看三件事：本周新增了哪些错误、哪些能通过补知识或改流程解决、下周是否继续扩大使用范围。
指标分四组。
| 组别 | 指标 |
|---|---|
| 业务 | 单任务处理时长、人工工时、转化或成本 |
| 产品 | 准确率、引用正确率、人工改写率、拒答率 |
| 运营 | 周活、渗透率、七日留存、人工接管率 |
| 风险 | 越权访问、敏感信息泄露、错误动作、投诉 |
阿里云 CIO 蒋林泉在公开复盘 28 个数字人项目时提到，评估要看三件事：折算拓展了多少人力、效率提升了多少、业务效果提升了多少。产品和运营指标要一起看，准确率之外还要看活跃、渗透和留存。这个思路可以直接借用到试点验收。
验收看四条：准确率达到约定门槛并稳定两周；目标用户每周使用；人工改写原因集中在可修复的知识或流程问题；单任务成本低于人工或带来明确增量价值。四条中有一条不成立，先不扩。
连续两轮评测不达标、没有数据负责人、触及合规红线、单任务成本长期高于人工且没有战略价值，满足任一条就停。停止一个错误场景，比勉强上线更省成本。更常见的失败原因可以对照企业 Agent 十大失败模式。
第六步，验收后决定扩、守还是停
验收之后有三个选择：扩到同类任务、保持小范围、停止。
扩之前检查六件事：知识有维护人；评测集每季度更新；权限复核完成；监控和告警上线；成本模型算得清；使用培训覆盖到一线。六件事缺两项以上，先保持小范围。
多 Agent 协作要等单 Agent 稳定后再做。任务交接、权限边界和责任归属没写清，Agent 越多，排错越难。适合扩展的信号是，前一个 Agent 的输出能直接被后一个 Agent 使用，中间不需要人反复补信息。
扩展时优先复制到同一类任务，再换业务线。跨业务线之前，先确认知识口径和权限模型能不能复用。
常见问题
企业一定要自建大模型吗
多数企业不需要。训练基础模型投入大、周期长，应用层的机会更多。先把场景、知识、评测和系统集成做好，模型可以通过 API 调用或私有化部署获得。
没有高质量数据还能做大模型应用吗
可以先做文档密集、答案可溯源的任务，比如政策问答、工单摘要、合同条款初审。仍然需要一批真实任务做评测集，否则无法判断答案好坏。完全没有数据负责人时，先解决管理问题。
大模型应用和传统 BI、RPA 有什么区别
BI 主要处理结构化数据和固定报表，RPA 按规则执行重复操作。大模型擅长理解语言、归纳非结构化内容、处理多步骤任务。涉及金额、权限和不可逆动作时，仍要接确定性工具和人工确认。
企业内部知识助手需要备案吗
只在内网使用、不向公众提供，不适用《生成式人工智能服务管理暂行办法》。面向公众开放，或嵌入对公众服务的产品，要按服务对象和实现方式判断安全评估、算法备案和应用登记。
试点 ROI 怎么算
先算单任务成本，包括模型调用、知识维护、人工复核和运维，再和当前人工处理成本比较。除了省钱，还要看处理时长、覆盖率和业务结果。战略价值可以单独说明，不要混进成本账。
小企业怎么做
选一个高频、边界清楚的任务，用 API 调用现成模型，先把人工流程和评测集整理好。不要一开始做私有化部署和多 Agent 协作，等单点稳定后再扩。
参考资料
- 中国信息通信研究院，《大模型落地路线图研究报告》，2024 年 9 月。https://www.caict.ac.cn/kxyj/qwfb/ztbg/202409/P020240904538515747964.pdf
- 麦肯锡，《2025 麦肯锡 AI 应用现状调研》，2025 年。https://www.mckinsey.com.cn/2025%e9%ba%a6%e8%82%af%e9%94%a1ai%e5%ba%94%e7%94%a8%e7%8e%b0%e7%8a%b6%e8%b0%83%e7%a0%94%ef%bc%9a%e4%bb%856%e4%bc%81%e4%b8%9a%e6%88%90%e4%b8%ba%e9%ab%98%e7%bb%a9%e6%95%88%e8%b5%a2%e5%ae%b6%ef%bc%8c/
- 经济日报，《毕马威中国柳晓光：企业AI转型应以顶层设计代替技术先行》，2025 年 7 月。http://www.jingjiribao.cn/static/detail.jsp?id=600451
- InfoQ，《阿里云 CIO 全面深度解析：企业 AI 大模型落地实践 RIDE 方法论》，2025 年。https://www.infoq.cn/article/BKMR19Rj75XwLR1ysM4B
- 国家互联网信息办公室等，《生成式人工智能服务管理暂行办法》，2023 年 7 月发布，2023 年 8 月 15 日施行。https://www.gov.cn/gongbao/2023/issue_10666/202308/content_6900864.html
