ThinkingAI Logo
返回博客列表

AI数据分析技术架构怎么设计?

从业务约束出发,拆解 AI 数据分析技术架构的数据底座、语义与知识、分析执行、Agent 协作和治理五层职责,给出问数链路、权限质量、自建采购取舍与分阶段验收方法。

2026-11-2014分钟
AI数据分析技术架构怎么设计?

AI 数据分析的技术架构怎么设计?一个可落地的顺序是先写约束,再定分层,最后用一条真实问数链路做验证。业务任务、数据范围、时延、合规和团队能力,决定数据底座、语义与知识、分析执行、Agent 协作四层能力各自要做到什么程度,也决定治理与运维要覆盖哪些控制点。本文给出这套 AI 数据分析 架构的职责划分、关键接口、权限与质量设计、选型取舍和分阶段验收方法。

架构图容易画,难的是每个方框都能对应一个真实约束。设计前先用一页纸写清六类信息,后面每一层都能从中找到依据。

一、先定约束,再画架构

1. 设计前要回答的六个问题

  • 业务任务:固定报表、指标监控、自然语言问数、异常归因,还是把分析结果直接推到运营动作。任务不同,分析执行层的复杂度差很多。
  • 使用者:业务人员、分析师、数据工程师和管理层对准确性、解释性和操作方式的要求不同。面向外部客户时,还要考虑多租户和展示边界。
  • 数据范围与新鲜度:数据来自哪些系统,历史多长,是否需要实时,哪些数据不能出内网。
  • 时延与并发:看板秒开、问数在 10 秒内返回、批量归因分钟级完成,对应的计算和缓存设计不同。
  • 合规与权限:是否涉及个人信息、跨境数据、等保或行业监管,谁可以看哪一行、哪一列。
  • 团队与预算:有没有数据工程、算法和运维人员,能否长期维护一套自建平台。

2. 哪些需求会改变架构

需求架构影响需要接受的代价
自然语言问数需要语义层、查询生成和结果校验建设和评测成本高
实时监控流式接入、实时计算和缓存成本和运维复杂度上升
多业务线共用统一指标、租户隔离和权限模型前期治理投入大
私有化部署模型与数据留在内网,适配客户基础设施交付周期和硬件成本增加
分析结果直接执行需要 Agent 编排、审批和回滚风险控制要求提高

这些约束不需要一次全部满足。先确定哪几条是硬约束,哪几条可以随着场景扩展逐步补上。硬约束决定架构边界,软约束决定第一期的取舍。

二、AI 数据分析技术架构的五层参考

下面这套结构适合大多数企业。四层能力负责把数据变成分析和行动,治理与运维贯穿其余四层。层数可以合并,职责不要省,尤其是语义层和治理层,后补的代价通常更高。

AI 数据分析五层参考架构示意图

图注:四个功能层自下而上支撑分析与行动,治理与运维作为第五层纵向贯穿其侧。

1. 数据底座层

数据底座负责把分散的数据变成可分析、可追溯的资产。设计时重点看三件事。

  • 接入:业务数据库、埋点日志、CRM、ERP、客服工单、社区舆情和内部文档要分别处理。结构化和非结构化数据可以在接入后汇合,但时间、用户 ID 和业务实体要先统一。
  • 存储与计算:按数据量和时延选择湖仓、数仓或混合结构。明细层保留可追溯的原始粒度,汇总层服务高频指标,宽表服务固定分析场景。实时链路单独设计,避免把所有数据都做成实时。
  • 数据模型:事实表、维度表和指标表分开。用户 ID 映射、设备 ID 合并和统一实体是跨源分析的前提,也是后面语义层能够稳定工作的基础。

数据底座的输出不只是表,还包括数据质量状态。哪些表可用、延迟多少、最近一次校验是否通过,这些信息要能被语义层和分析执行层读取。

2. 语义与知识层

语义层的核心是统一指标口径,把指标、维度、过滤条件、时间口径和同义词定义清楚。付费率、DAU、留存率的分子分母、统计周期和排除条件,都要有唯一版本。业务人员在报表、自然语言问数和导出文件里看到的同一个指标,应该来自同一套定义。

知识层保存业务术语、分析模板、历史复盘、产品文档和归因经验,供 Agent 检索。它和语义层解决的是两个问题:语义层回答“这个数字怎么算”,知识层回答“这个业务问题通常怎么分析”。

dbt 官方文档指出,语义层把指标定义放到建模层集中管理,AI 工具通过 MCP 协议连接后使用受治理的指标,减少直接猜原始表。MCP 协议的作用是让模型以统一方式调用外部工具和数据。ThinkingAI 的企业知识库用单一事实来源和 ChangeSet 变更集机制管理同一概念的唯一版本与变更追溯,这类做法可以作为 统一指标口径 和知识治理的参照。

设计语义层时,建议把版本、负责人、变更记录和权限继承一起写进方案。指标定义变更后,哪些报表、Agent 和接口会受影响,要能查得到。

3. 分析执行层

分析执行层负责把一个问题变成可验证的分析结果。一条完整的链路通常包括意图识别、语义解析、查询或分析计划生成、执行、结果校验、可视化与解释。

  • 意图识别要区分查数、对比、趋势、归因、预测和行动建议。不同意图调用不同分析模板,不能全部交给一次 SQL 生成。
  • 查询生成优先使用语义层提供的指标和维度,减少自由生成 SQL 的空间。必须直连明细表时,限制可用表、字段和行数,并做查询成本预估。
  • 结果校验要检查空结果、异常值、口径冲突、同比环比基准和样本量。关键结论最好做二次计算或交叉验证。
  • 解释与呈现要说明用了哪些数据、按什么口径计算、结论的置信程度如何。图表跟随问题选择,趋势用折线,构成用堆叠或占比,分布用直方图或箱线图。

2025 年 COLING 会议论文 MCS-SQL 的测试结果显示,BIRD 基准上的执行准确率为 65.5%,Spider 为 89.6%;作者同时指出,在复杂表结构和查询上,模型表现仍明显低于人类专家。自然语言问数要把语义约束、查询校验和人工复核放进架构,不能把准确性全部压在一次 SQL 生成上。如果采用成熟的 数据分析 Agent,也要用同样的标准检查它的意图识别、归因过程和结果可追溯性。

4. Agent 协作层

Agent 协作层负责模型、工具和多个智能体之间的分工。它决定系统能不能从“回答一个问题”走到“完成一件事”。

  • 模型路由:简单查数使用低成本模型,复杂归因使用推理能力更强的模型。支持企业私有模型和外部模型,按任务、成本和安全要求选择。
  • 工具调用:通过 MCP 协议连接数据库、BI、CRM、实验平台和触达系统。每个工具要有明确的输入输出、权限、超时和失败处理。
  • Skill 封装:把常用分析方法做成可复用技能,例如留存拆解、漏斗分析、归因分析、活动复盘。这样每次分析不必从零写提示词,也便于统一质量。
  • 多 Agent 分工:分析 Agent 负责找原因,运营 Agent 负责生成策略,实验 Agent 负责验证效果。Agent 之间传递结构化结果,不传递整段聊天记录。
  • 记忆与上下文:保存业务背景、分析偏好和历史结论,但要有有效期和权限边界,避免把过期结论当成当前事实。

ThinkingAI 的 Agentic Engine 支持多 Agent 协作、预制 Skills、MCP 协议扩展和私有化部署,可以作为自建或采购时的能力对照。具体功能和版本以官方资料和实际测试为准。

5. 治理与运维层

治理与运维贯穿数据、语义、分析和 Agent 四层。它要回答四个问题:谁能看什么,谁做了什么,结果可不可信,成本花在哪里。

  • 身份与权限:对接企业统一身份源,按角色和数据域授权,敏感字段做行列级控制,生产写入交给服务账号。
  • 审计:记录谁在什么时候问了什么、查了哪些数据、生成了什么结论、是否被执行。审计日志要能按用户、数据对象和任务回放。
  • 质量:数据质量规则、指标一致性检查、分析结果抽检和评测集回归。质量状态要能被上层读取,不能只留在运维人员的监控面板里。
  • 成本:设置查询预算、缓存常见结果、限制大表扫描、监控模型调用量。成本要能按业务线和场景归集。
  • 风险:美国国家标准与技术研究院 NIST 在 2023 年 1 月发布 AI 风险管理框架,按治理、映射、测量、管理四类工作组织风险,覆盖设计、开发、使用和评估。企业可以把这套思路映射到自己的 AI 分析平台,明确负责人、风险容忍度和复核机制。

Databricks 官方文档建议用命名空间隔离环境,按组授权,生产写入使用服务账号,并通过行列过滤和列掩码保护敏感数据。这些做法可以直接迁移到 AI 分析平台,不需要等 Agent 上线后再补。

三、一次问数如何走到行动

用一个具体问题把五层串起来:昨天付费率为什么从 3% 降到 1%?

  • 用户提问。业务人员用自然语言描述问题,不写 SQL,也不指定表。
  • 意图识别。系统判定这是异常归因,并按归因流程处理。
  • 语义解析。定位付费率指标、时间窗口、对比基准和可用维度,确认分子分母与统计周期。
  • 权限检查。确认提问者可以查看的数据范围和敏感字段,权限不足时返回可用范围,不泄露越界信息。
  • 分析计划。先确认整体降幅,再按渠道、版本、用户分层和支付方式拆解,最后关联客服反馈、社区舆情和内部知识库。
  • 执行与校验。检查样本量、口径一致性、异常值和缺失数据。关键结论做二次计算,无法确认的结果标记为待核验。
  • 生成解释。给出主要影响因素、证据、置信程度和建议动作。涉及降价、发券、触达等动作时,进入审批或实验流程,并保留回滚方案。

这条链路里,人工接管点要提前设计。意图不明确时需要追问,权限不足时需要拒绝并说明,结果异常时需要标记,行动建议需要审批。把这些分支写进流程,比在提示词里反复强调“不要出错”更有效。

四、权限与质量要写进架构

1. 权限设计

权限不是登录之后加一个角色就够了。AI 分析平台会同时访问数据、模型、工具和外部系统,控制点要覆盖整条链路。

控制点设计做法验证方式
身份对接企业统一身份,按组授权抽查离职、转岗账号
数据范围按业务域和环境隔离,设置行列权限用低权限账号试查敏感字段
工具调用每个工具单独授权,限制可用表和操作检查越权调用日志
生产操作服务账号执行,人工审批回放高风险操作
审计记录提问、查询、结论和执行抽查完整链路

2. 质量设计

质量要分三层看:数据对不对,口径一致不一致,分析结论站不站得住。三层对应的检查方法不同,失败处理也不同。

质量维度检查方法失败处理
指标口径语义层唯一版本,变更评审阻断发布,回滚版本
数据质量空值、重复、延迟、分布异常监控标记不可用,通知负责人
查询结果空结果、异常值、样本量、基准对比要求复核,不给确定结论
模型输出固定评测集、人工抽检、回归测试降级到模板查询或人工分析
行动效果A/B 实验、对照分析未验证不扩大范围

五、自建、采购还是混合

三种方式都能用,差别在于把哪些能力留在内部,哪些交给外部。自建与采购 的取舍可以按下面几个维度判断。

维度自建采购混合
数据主权完全可控取决于部署方式核心数据自留,分析能力外采
上线速度慢快中等
定制深度高受产品边界限制核心场景定制
运维能力要求高要求低中等
总成本前期投入大,规模越大越可控订阅或授权费用按场景分摊
适用条件数据敏感、场景独特、有稳定团队需求通用、希望快速上线核心自建、外围采购

自建适合数据不能出内网、分析逻辑高度行业化、已经有数据平台和工程团队的企业。采购适合需要快速验证、以标准分析场景为主、运维人力有限的企业。混合适合核心指标和语义层自建,自然语言问数、可视化或 Agent 编排采用成熟产品;也适合数据留在现有平台,通过 MCP 连接外部分析能力。

ThinkingAI 已服务全球 1500 家企业,接入产品超过 8000 款。Agentic Engine 支持私有化部署、企业知识库、数据分析 Agent 和 MCP 服务,采购或混合建设时可以把这些能力作为对照项。具体功能、部署范围和交付方式,以官方资料和实际测试为准。ThinkingAI 旗下的 Tiki 智能助手获得中国信通院智能体评估 4+ 级,评估依据是《智能体技术要求与评估方法第 9 部分:数据分析智能体》,覆盖技术能力、场景能力和服务成熟度共 21 个能力项。

私有化部署要先确认数据、模型和推理是否都在内网,模型能否接入企业自有端点,权限和审计是否完整,升级和回滚是否可控。ThinkingAI 的 私有化部署 方案支持把数据、模型和应用留在客户环境,硬件资源、模型性能和运维责任要在方案阶段写清。

六、分阶段落地与验收

1. 30 天打通一条问数链路

  • 选一个高频、边界清楚的分析任务,例如核心指标监控或活动复盘。
  • 接入 2 到 3 个核心数据源,先统一时间、用户 ID 和业务实体。
  • 定义 10 到 20 个核心指标及口径,写清分子分母、统计周期和排除条件。
  • 用真实问题准备 50 到 100 条评测集,覆盖查数、对比、趋势和简单归因。
  • 验收看三件事:回答是否正确,平均响应时间是否可接受,低权限账号是否看不到越界数据。

2. 60 天扩展到归因和多轮追问

  • 增加维度拆解、异常检测和归因模板,把分析计划显式化。
  • 接入客服、社区或内部知识库,让归因不只依赖行为数据。
  • 建立结果校验和人工复核机制,错误结论要能定位到数据、口径或查询。
  • 验收看归因结论是否可追溯,多轮追问是否保持上下文,错误是否能被及时发现。

3. 90 天连接行动与治理

  • 把分析结果接到运营、实验或触达系统,形成从洞察到行动的链路。
  • 建立审批、回滚和审计,高风险动作先在实验环境验证。
  • 建立模型、查询和成本监控,按业务线归集资源消耗。
  • 验收看闭环能否复盘,行动效果是否有对照数据,成本是否可控。

4. 验收清单

  • 业务任务:能否用一条真实问题验证,而不是只看演示。
  • 口径:同一指标在不同入口是否一致,变更能否追溯。
  • 权限:低权限账号是否看不到不该看的数据。
  • 结果:错误结果是否会被标记,而不是直接输出。
  • 可追溯:结论能否回到数据、指标和查询。
  • 时延:常见问题是否在可接受时间内返回。
  • 成本:单次查询和单次分析的资源消耗是否可计量。
  • 采用:业务人员是否愿意持续使用,问题是否真的被解决。

常见问题

没有数据中台,能做 AI 数据分析吗?

可以从小范围开始。先接 2 到 3 个核心数据源,建立最小语义层和权限模型,用一条高频分析任务验证。数据中台能降低长期治理成本,但可以从最小范围启动。数据源少的时候,重点是把指标口径和用户 ID 统一。

大模型直接连数据库行不行?

可以用于探索,不建议直接作为生产架构。模型直接生成 SQL 会带来口径不一致、越权访问、慢查询和错误结论。生产环境更适合让模型通过语义层和受控工具查询,并在返回前做结果校验。2025 年 COLING 论文的测试也说明,复杂表结构上的自然语言转 SQL 准确率仍低于人类专家。

如何评估自然语言问数的准确率?

准备一套覆盖真实问题的评测集,按查数、对比、趋势、归因和多轮追问分类。每次模型、提示词或语义层变更后回归测试。除了结果是否正确,还要看是否引用了正确的指标、是否越权、是否给出不确定说明。准确率按任务类型分别统计,比一个总分更有用。

私有化部署要注意什么?

先确认数据、模型和推理是否都在内网,模型能否接入企业自有端点,权限和审计是否完整,升级和回滚是否可控。硬件资源、模型性能和运维责任要提前写进方案。ThinkingAI 的私有化部署方案支持数据、模型和应用留在客户环境,具体范围以实际部署方案为准。

小团队怎么控制成本?

优先用语义层和模板覆盖高频问题,把复杂分析留给人工或按需调用更强模型。设置查询预算,缓存常见结果,限制大表扫描。先验证一个场景的价值,再扩展数据和用户。

架构需要一次设计到位吗?

不需要。五层职责可以先简化,但不能缺失。数据和语义层可以先小后大,分析执行层可以先模板后自由问数,Agent 协作层可以先用单 Agent,治理层从第一天就要有权限和审计。每扩展一层,回看约束和验收标准。

参考资料

  • Databricks 官方文档:Plan your data governance strategy,https://docs.databricks.com/aws/en/getting-started/starter-journey/data-governance-strategy/
  • dbt 官方文档:dbt Semantic Layer,https://docs.getdbt.com/docs/use-dbt-semantic-layer/dbt-sl
  • Lee 等:MCS-SQL,COLING 2025,https://aclanthology.org/2025.coling-main.24/
  • NIST:AI Risk Management Framework,https://www.nist.gov/itl/ai-risk-management-framework

准备好构建你的 Agent 团队了吗

立即体验 Agentic Engine, 让 AI 成为真正的团队成员

ThinkingAI Big Logo
电话咨询