AI 数据分析的技术架构怎么设计?一个可落地的顺序是先写约束,再定分层,最后用一条真实问数链路做验证。业务任务、数据范围、时延、合规和团队能力,决定数据底座、语义与知识、分析执行、Agent 协作四层能力各自要做到什么程度,也决定治理与运维要覆盖哪些控制点。本文给出这套 AI 数据分析 架构的职责划分、关键接口、权限与质量设计、选型取舍和分阶段验收方法。
架构图容易画,难的是每个方框都能对应一个真实约束。设计前先用一页纸写清六类信息,后面每一层都能从中找到依据。
一、先定约束,再画架构
1. 设计前要回答的六个问题
- 业务任务:固定报表、指标监控、自然语言问数、异常归因,还是把分析结果直接推到运营动作。任务不同,分析执行层的复杂度差很多。
- 使用者:业务人员、分析师、数据工程师和管理层对准确性、解释性和操作方式的要求不同。面向外部客户时,还要考虑多租户和展示边界。
- 数据范围与新鲜度:数据来自哪些系统,历史多长,是否需要实时,哪些数据不能出内网。
- 时延与并发:看板秒开、问数在 10 秒内返回、批量归因分钟级完成,对应的计算和缓存设计不同。
- 合规与权限:是否涉及个人信息、跨境数据、等保或行业监管,谁可以看哪一行、哪一列。
- 团队与预算:有没有数据工程、算法和运维人员,能否长期维护一套自建平台。
2. 哪些需求会改变架构
| 需求 | 架构影响 | 需要接受的代价 |
|---|---|---|
| 自然语言问数 | 需要语义层、查询生成和结果校验 | 建设和评测成本高 |
| 实时监控 | 流式接入、实时计算和缓存 | 成本和运维复杂度上升 |
| 多业务线共用 | 统一指标、租户隔离和权限模型 | 前期治理投入大 |
| 私有化部署 | 模型与数据留在内网,适配客户基础设施 | 交付周期和硬件成本增加 |
| 分析结果直接执行 | 需要 Agent 编排、审批和回滚 | 风险控制要求提高 |
这些约束不需要一次全部满足。先确定哪几条是硬约束,哪几条可以随着场景扩展逐步补上。硬约束决定架构边界,软约束决定第一期的取舍。
二、AI 数据分析技术架构的五层参考
下面这套结构适合大多数企业。四层能力负责把数据变成分析和行动,治理与运维贯穿其余四层。层数可以合并,职责不要省,尤其是语义层和治理层,后补的代价通常更高。

图注:四个功能层自下而上支撑分析与行动,治理与运维作为第五层纵向贯穿其侧。
1. 数据底座层
数据底座负责把分散的数据变成可分析、可追溯的资产。设计时重点看三件事。
- 接入:业务数据库、埋点日志、CRM、ERP、客服工单、社区舆情和内部文档要分别处理。结构化和非结构化数据可以在接入后汇合,但时间、用户 ID 和业务实体要先统一。
- 存储与计算:按数据量和时延选择湖仓、数仓或混合结构。明细层保留可追溯的原始粒度,汇总层服务高频指标,宽表服务固定分析场景。实时链路单独设计,避免把所有数据都做成实时。
- 数据模型:事实表、维度表和指标表分开。用户 ID 映射、设备 ID 合并和统一实体是跨源分析的前提,也是后面语义层能够稳定工作的基础。
数据底座的输出不只是表,还包括数据质量状态。哪些表可用、延迟多少、最近一次校验是否通过,这些信息要能被语义层和分析执行层读取。
2. 语义与知识层
语义层的核心是统一指标口径,把指标、维度、过滤条件、时间口径和同义词定义清楚。付费率、DAU、留存率的分子分母、统计周期和排除条件,都要有唯一版本。业务人员在报表、自然语言问数和导出文件里看到的同一个指标,应该来自同一套定义。
知识层保存业务术语、分析模板、历史复盘、产品文档和归因经验,供 Agent 检索。它和语义层解决的是两个问题:语义层回答“这个数字怎么算”,知识层回答“这个业务问题通常怎么分析”。
dbt 官方文档指出,语义层把指标定义放到建模层集中管理,AI 工具通过 MCP 协议连接后使用受治理的指标,减少直接猜原始表。MCP 协议的作用是让模型以统一方式调用外部工具和数据。ThinkingAI 的企业知识库用单一事实来源和 ChangeSet 变更集机制管理同一概念的唯一版本与变更追溯,这类做法可以作为 统一指标口径 和知识治理的参照。
设计语义层时,建议把版本、负责人、变更记录和权限继承一起写进方案。指标定义变更后,哪些报表、Agent 和接口会受影响,要能查得到。
3. 分析执行层
分析执行层负责把一个问题变成可验证的分析结果。一条完整的链路通常包括意图识别、语义解析、查询或分析计划生成、执行、结果校验、可视化与解释。
- 意图识别要区分查数、对比、趋势、归因、预测和行动建议。不同意图调用不同分析模板,不能全部交给一次 SQL 生成。
- 查询生成优先使用语义层提供的指标和维度,减少自由生成 SQL 的空间。必须直连明细表时,限制可用表、字段和行数,并做查询成本预估。
- 结果校验要检查空结果、异常值、口径冲突、同比环比基准和样本量。关键结论最好做二次计算或交叉验证。
- 解释与呈现要说明用了哪些数据、按什么口径计算、结论的置信程度如何。图表跟随问题选择,趋势用折线,构成用堆叠或占比,分布用直方图或箱线图。
2025 年 COLING 会议论文 MCS-SQL 的测试结果显示,BIRD 基准上的执行准确率为 65.5%,Spider 为 89.6%;作者同时指出,在复杂表结构和查询上,模型表现仍明显低于人类专家。自然语言问数要把语义约束、查询校验和人工复核放进架构,不能把准确性全部压在一次 SQL 生成上。如果采用成熟的 数据分析 Agent,也要用同样的标准检查它的意图识别、归因过程和结果可追溯性。
4. Agent 协作层
Agent 协作层负责模型、工具和多个智能体之间的分工。它决定系统能不能从“回答一个问题”走到“完成一件事”。
- 模型路由:简单查数使用低成本模型,复杂归因使用推理能力更强的模型。支持企业私有模型和外部模型,按任务、成本和安全要求选择。
- 工具调用:通过 MCP 协议连接数据库、BI、CRM、实验平台和触达系统。每个工具要有明确的输入输出、权限、超时和失败处理。
- Skill 封装:把常用分析方法做成可复用技能,例如留存拆解、漏斗分析、归因分析、活动复盘。这样每次分析不必从零写提示词,也便于统一质量。
- 多 Agent 分工:分析 Agent 负责找原因,运营 Agent 负责生成策略,实验 Agent 负责验证效果。Agent 之间传递结构化结果,不传递整段聊天记录。
- 记忆与上下文:保存业务背景、分析偏好和历史结论,但要有有效期和权限边界,避免把过期结论当成当前事实。
ThinkingAI 的 Agentic Engine 支持多 Agent 协作、预制 Skills、MCP 协议扩展和私有化部署,可以作为自建或采购时的能力对照。具体功能和版本以官方资料和实际测试为准。
5. 治理与运维层
治理与运维贯穿数据、语义、分析和 Agent 四层。它要回答四个问题:谁能看什么,谁做了什么,结果可不可信,成本花在哪里。
- 身份与权限:对接企业统一身份源,按角色和数据域授权,敏感字段做行列级控制,生产写入交给服务账号。
- 审计:记录谁在什么时候问了什么、查了哪些数据、生成了什么结论、是否被执行。审计日志要能按用户、数据对象和任务回放。
- 质量:数据质量规则、指标一致性检查、分析结果抽检和评测集回归。质量状态要能被上层读取,不能只留在运维人员的监控面板里。
- 成本:设置查询预算、缓存常见结果、限制大表扫描、监控模型调用量。成本要能按业务线和场景归集。
- 风险:美国国家标准与技术研究院 NIST 在 2023 年 1 月发布 AI 风险管理框架,按治理、映射、测量、管理四类工作组织风险,覆盖设计、开发、使用和评估。企业可以把这套思路映射到自己的 AI 分析平台,明确负责人、风险容忍度和复核机制。
Databricks 官方文档建议用命名空间隔离环境,按组授权,生产写入使用服务账号,并通过行列过滤和列掩码保护敏感数据。这些做法可以直接迁移到 AI 分析平台,不需要等 Agent 上线后再补。
三、一次问数如何走到行动
用一个具体问题把五层串起来:昨天付费率为什么从 3% 降到 1%?
- 用户提问。业务人员用自然语言描述问题,不写 SQL,也不指定表。
- 意图识别。系统判定这是异常归因,并按归因流程处理。
- 语义解析。定位付费率指标、时间窗口、对比基准和可用维度,确认分子分母与统计周期。
- 权限检查。确认提问者可以查看的数据范围和敏感字段,权限不足时返回可用范围,不泄露越界信息。
- 分析计划。先确认整体降幅,再按渠道、版本、用户分层和支付方式拆解,最后关联客服反馈、社区舆情和内部知识库。
- 执行与校验。检查样本量、口径一致性、异常值和缺失数据。关键结论做二次计算,无法确认的结果标记为待核验。
- 生成解释。给出主要影响因素、证据、置信程度和建议动作。涉及降价、发券、触达等动作时,进入审批或实验流程,并保留回滚方案。
这条链路里,人工接管点要提前设计。意图不明确时需要追问,权限不足时需要拒绝并说明,结果异常时需要标记,行动建议需要审批。把这些分支写进流程,比在提示词里反复强调“不要出错”更有效。
四、权限与质量要写进架构
1. 权限设计
权限不是登录之后加一个角色就够了。AI 分析平台会同时访问数据、模型、工具和外部系统,控制点要覆盖整条链路。
| 控制点 | 设计做法 | 验证方式 |
|---|---|---|
| 身份 | 对接企业统一身份,按组授权 | 抽查离职、转岗账号 |
| 数据范围 | 按业务域和环境隔离,设置行列权限 | 用低权限账号试查敏感字段 |
| 工具调用 | 每个工具单独授权,限制可用表和操作 | 检查越权调用日志 |
| 生产操作 | 服务账号执行,人工审批 | 回放高风险操作 |
| 审计 | 记录提问、查询、结论和执行 | 抽查完整链路 |
2. 质量设计
质量要分三层看:数据对不对,口径一致不一致,分析结论站不站得住。三层对应的检查方法不同,失败处理也不同。
| 质量维度 | 检查方法 | 失败处理 |
|---|---|---|
| 指标口径 | 语义层唯一版本,变更评审 | 阻断发布,回滚版本 |
| 数据质量 | 空值、重复、延迟、分布异常监控 | 标记不可用,通知负责人 |
| 查询结果 | 空结果、异常值、样本量、基准对比 | 要求复核,不给确定结论 |
| 模型输出 | 固定评测集、人工抽检、回归测试 | 降级到模板查询或人工分析 |
| 行动效果 | A/B 实验、对照分析 | 未验证不扩大范围 |
五、自建、采购还是混合
三种方式都能用,差别在于把哪些能力留在内部,哪些交给外部。自建与采购 的取舍可以按下面几个维度判断。
| 维度 | 自建 | 采购 | 混合 |
|---|---|---|---|
| 数据主权 | 完全可控 | 取决于部署方式 | 核心数据自留,分析能力外采 |
| 上线速度 | 慢 | 快 | 中等 |
| 定制深度 | 高 | 受产品边界限制 | 核心场景定制 |
| 运维能力 | 要求高 | 要求低 | 中等 |
| 总成本 | 前期投入大,规模越大越可控 | 订阅或授权费用 | 按场景分摊 |
| 适用条件 | 数据敏感、场景独特、有稳定团队 | 需求通用、希望快速上线 | 核心自建、外围采购 |
自建适合数据不能出内网、分析逻辑高度行业化、已经有数据平台和工程团队的企业。采购适合需要快速验证、以标准分析场景为主、运维人力有限的企业。混合适合核心指标和语义层自建,自然语言问数、可视化或 Agent 编排采用成熟产品;也适合数据留在现有平台,通过 MCP 连接外部分析能力。
ThinkingAI 已服务全球 1500 家企业,接入产品超过 8000 款。Agentic Engine 支持私有化部署、企业知识库、数据分析 Agent 和 MCP 服务,采购或混合建设时可以把这些能力作为对照项。具体功能、部署范围和交付方式,以官方资料和实际测试为准。ThinkingAI 旗下的 Tiki 智能助手获得中国信通院智能体评估 4+ 级,评估依据是《智能体技术要求与评估方法第 9 部分:数据分析智能体》,覆盖技术能力、场景能力和服务成熟度共 21 个能力项。
私有化部署要先确认数据、模型和推理是否都在内网,模型能否接入企业自有端点,权限和审计是否完整,升级和回滚是否可控。ThinkingAI 的 私有化部署 方案支持把数据、模型和应用留在客户环境,硬件资源、模型性能和运维责任要在方案阶段写清。
六、分阶段落地与验收
1. 30 天打通一条问数链路
- 选一个高频、边界清楚的分析任务,例如核心指标监控或活动复盘。
- 接入 2 到 3 个核心数据源,先统一时间、用户 ID 和业务实体。
- 定义 10 到 20 个核心指标及口径,写清分子分母、统计周期和排除条件。
- 用真实问题准备 50 到 100 条评测集,覆盖查数、对比、趋势和简单归因。
- 验收看三件事:回答是否正确,平均响应时间是否可接受,低权限账号是否看不到越界数据。
2. 60 天扩展到归因和多轮追问
- 增加维度拆解、异常检测和归因模板,把分析计划显式化。
- 接入客服、社区或内部知识库,让归因不只依赖行为数据。
- 建立结果校验和人工复核机制,错误结论要能定位到数据、口径或查询。
- 验收看归因结论是否可追溯,多轮追问是否保持上下文,错误是否能被及时发现。
3. 90 天连接行动与治理
- 把分析结果接到运营、实验或触达系统,形成从洞察到行动的链路。
- 建立审批、回滚和审计,高风险动作先在实验环境验证。
- 建立模型、查询和成本监控,按业务线归集资源消耗。
- 验收看闭环能否复盘,行动效果是否有对照数据,成本是否可控。
4. 验收清单
- 业务任务:能否用一条真实问题验证,而不是只看演示。
- 口径:同一指标在不同入口是否一致,变更能否追溯。
- 权限:低权限账号是否看不到不该看的数据。
- 结果:错误结果是否会被标记,而不是直接输出。
- 可追溯:结论能否回到数据、指标和查询。
- 时延:常见问题是否在可接受时间内返回。
- 成本:单次查询和单次分析的资源消耗是否可计量。
- 采用:业务人员是否愿意持续使用,问题是否真的被解决。
常见问题
没有数据中台,能做 AI 数据分析吗?
可以从小范围开始。先接 2 到 3 个核心数据源,建立最小语义层和权限模型,用一条高频分析任务验证。数据中台能降低长期治理成本,但可以从最小范围启动。数据源少的时候,重点是把指标口径和用户 ID 统一。
大模型直接连数据库行不行?
可以用于探索,不建议直接作为生产架构。模型直接生成 SQL 会带来口径不一致、越权访问、慢查询和错误结论。生产环境更适合让模型通过语义层和受控工具查询,并在返回前做结果校验。2025 年 COLING 论文的测试也说明,复杂表结构上的自然语言转 SQL 准确率仍低于人类专家。
如何评估自然语言问数的准确率?
准备一套覆盖真实问题的评测集,按查数、对比、趋势、归因和多轮追问分类。每次模型、提示词或语义层变更后回归测试。除了结果是否正确,还要看是否引用了正确的指标、是否越权、是否给出不确定说明。准确率按任务类型分别统计,比一个总分更有用。
私有化部署要注意什么?
先确认数据、模型和推理是否都在内网,模型能否接入企业自有端点,权限和审计是否完整,升级和回滚是否可控。硬件资源、模型性能和运维责任要提前写进方案。ThinkingAI 的私有化部署方案支持数据、模型和应用留在客户环境,具体范围以实际部署方案为准。
小团队怎么控制成本?
优先用语义层和模板覆盖高频问题,把复杂分析留给人工或按需调用更强模型。设置查询预算,缓存常见结果,限制大表扫描。先验证一个场景的价值,再扩展数据和用户。
架构需要一次设计到位吗?
不需要。五层职责可以先简化,但不能缺失。数据和语义层可以先小后大,分析执行层可以先模板后自由问数,Agent 协作层可以先用单 Agent,治理层从第一天就要有权限和审计。每扩展一层,回看约束和验收标准。
参考资料
- Databricks 官方文档:Plan your data governance strategy,https://docs.databricks.com/aws/en/getting-started/starter-journey/data-governance-strategy/
- dbt 官方文档:dbt Semantic Layer,https://docs.getdbt.com/docs/use-dbt-semantic-layer/dbt-sl
- Lee 等:MCS-SQL,COLING 2025,https://aclanthology.org/2025.coling-main.24/
- NIST:AI Risk Management Framework,https://www.nist.gov/itl/ai-risk-management-framework






