ThinkingAI Logo
返回博客列表

AI数据分析技术架构包括哪些内容?

从数据接入、存储计算、加工指标、语义知识、AI分析与Agent、集成行动到应用交互,拆解AI数据分析技术架构的七层组成与协作流程,并说明语义层、治理和最小落地路径。

2026-11-2015分钟
AI数据分析技术架构包括哪些内容?

AI数据分析技术架构,是一套把分散数据加工成 AI 可调用、业务可追问、结果可追溯的技术组件与协作规则。企业落地时,它通常包含七层:数据接入、存储与计算、数据加工与指标、语义与知识、AI 分析与 Agent、集成与行动、应用与交互。治理、安全与运维贯穿每一层。

如果团队还在梳理指标体系和问数场景,可以先读这份 AI 数据分析完整指南,再回到架构分层。本文讨论企业分析场景,不涉及 AI 芯片、算力集群和基础大模型训练。

判断一套架构是否完整,可以看四件事:同一问题在不同入口是否得到同一口径,每个数字能否追溯到指标定义和源表,业务人员能否不写 SQL 完成多轮追问,分析结论能否进入有权限和审计的业务动作。

一、AI数据分析技术架构是什么

AI数据分析技术架构,是支撑企业从数据采集、加工、语义建模到自然语言分析、行动反馈的整套技术体系。它和传统 BI 架构共享数据底座,差别在于多了语义与知识层、AI 分析与 Agent 层,并把治理范围从数据扩展到指标、工具和模型输出。

可以用三个问题界定它的范围。数据从哪里来,决定分析有没有可用的原料。AI 依据什么理解业务,决定回答是否准确。分析结果怎样回到业务动作,决定这套架构能否产生实际作用。

对企业来说,架构的价值不在于组件数量,而在于能否让业务人员用自己熟悉的语言提出问题,并得到口径一致、来源清楚、可以继续追问的答案。要做到这一点,七层需要协同工作,任何一层缺失都会让体验打折。

二、一套完整的架构包括哪些层

不同企业的组件选型会不同,层的职责相对稳定。下面这张表可以先建立整体印象。

架构层主要职责典型产出
数据接入埋点、CDC、API、文件、消息流,批处理与流处理并存完整、可追溯的原始数据
存储与计算数据湖、数据仓库或湖仓一体,提供存储与弹性计算分层数据与稳定的查询性能
数据加工与指标清洗、关联、建模、指标计算、调度与质量校验明细宽表、维度模型、指标表
语义与知识定义指标、维度、关系、口径、同义词、规则和权限统一语义模型与 Agent 可调用知识
AI 分析与 Agent理解意图、规划任务、调用工具、组织答案分析结论、图表、报告与建议
集成与行动通过 API、MCP 和业务系统把洞察转成动作任务、策略、触达或实验
应用与交互对话问数、看板、报告、预警、嵌入式分析业务人员实际使用的入口

1. 数据接入层

数据接入层负责把客户端、服务端、业务数据库、第三方平台和外部反馈的数据稳定送进平台。常见组件包括埋点 SDK、CDC、API 同步、文件导入和消息队列,批处理与流处理通常并存。

这一层要先把事件名称、属性、上报时机和版本管住。埋点方案频繁变更却没有版本记录,后面的指标和模型都会被污染。除了行为数据,用户反馈、客服记录、社区舆情和内部文档也值得纳入,它们能补上数字背后的原因。ThinkingAI 把这类多源数据融合称为全域感知,目的是让 Agent 在分析时拿到更完整的上下文。

2. 存储与计算层

存储与计算层负责存得下、查得快、算得动。常见形态是数据湖、数据仓库或湖仓一体,配合对象存储和弹性计算资源。

微软 Azure 架构中心的现代分析架构采用青铜、银、金三层组织数据。青铜保存原始数据,银层做清洗和过滤,金层存放面向业务分析的聚合结果。这样分层的好处是原始数据可以重跑,业务层只暴露经过治理的数据。

存算分离和按需扩缩容会影响成本与实时性。报表、即席查询和 Agent 问数的负载不同,需要分别设置资源、并发和超时策略。

3. 数据加工与指标层

数据加工与指标层负责把原始数据变成可复用的表、指标和分析模型。ETL 或 ELT 完成清洗、关联和聚合,调度系统按依赖顺序运行任务,数据质量校验在关键节点拦截异常。

这一层的产出通常包括明细宽表、维度模型、指标表和主题数据集。指标的计算逻辑应尽量沉淀为可版本管理的定义,避免散落在几十张报表的 SQL 里。

加工层和语义层可以部署在一起,职责要分开。加工层解决数据怎么算,语义层解决业务怎么理解、谁来用、能用什么。

4. 语义与知识层

语义与知识层负责把物理表翻译成业务语言。语义层通常定义指标、维度、表关系、过滤条件、同义词、业务规则和访问策略,让不同工具和 Agent 用同一套口径查询。Databricks 把语义层描述为源数据与消费端之间的共享业务含义层,并强调权限和血缘应随指标定义一起传递。

对 AI 分析来说,这一层还承担知识供给。指标说明、业务规则、历史复盘、产品文档和常见问题,需要加工成结构化、可检索、可追溯的知识。原始文档直接塞给模型,容易造成上下文噪声和过期信息干扰。

ThinkingAI 的企业级知识库采用 Schema-first 方式把文档解析成实体图谱,以 SSOT 保证同一概念在全系统只有一处定义。SSOT 即单一事实来源。知识更新通过 ChangeSet 支持追溯、对比和回滚,适合指标口径多、业务线交叉的企业。

更完整的建设方法,可参考 Agent 语义层建设指南。

常见断点是把语义层做成一份文档或一张 Excel 表,没有负责人、没有版本,也没有和执行引擎连起来。这样的语义层无法阻止不同入口给出不同答案。

5. AI分析与Agent层

AI 分析与 Agent 层负责理解问题、拆解任务、调用工具并组织答案。典型能力包括意图识别、多轮对话、任务规划、工具调用、上下文记忆、自动归因、智能可视化和结果解释。

这一层要把大模型的语言能力和确定性的数据计算分开。模型负责理解问题和选择分析路径,指标计算、权限校验和查询执行交给受控的工具与引擎。这样既保留灵活性,也能控制错误范围。

Agent 与单轮问答助手的区别在于,它能围绕一个目标连续工作。用户问付费率为什么下降,Agent 可以先按渠道、版本、地区拆解,再结合活动记录和用户反馈给出原因假设,并说明证据来自哪里。

高风险动作需要人工确认。例如调整预算、修改用户分层、触发大规模触达,应该设置审批和回滚机制。

6. 集成与行动层

集成与行动层负责让分析结果进入业务系统。常见方式包括 API、Webhook、消息队列、MCP 和企业内部工具调用。MCP 是开放协议,用标准接口把数据源和工具暴露给 AI 应用,让同一个工具可以被不同客户端复用。

这一层决定分析能否形成闭环。只在聊天窗口里给出结论,业务人员还要手工复制到运营系统,闭环就断在这里。

ThinkingAI 的 MCP 服务 提供工具连接与系统集成能力,可把分析结果流转到运营、实验等 Agent。工具调用涉及写操作时,需要白名单、最小权限和审计日志。

7. 应用与交互层

应用与交互层负责把能力交给业务人员使用。入口可以是对话式问数、固定看板、自动报告、异常预警,也可以嵌入到 CRM、客服、运营后台等业务系统。

不同角色需要不同入口。管理层看趋势和异常,分析师看下钻和明细,运营人员看分群和动作建议。只提供一个聊天框,会把这些需求挤在一起;只提供固定看板,又难以回答临时问题。

应用层还要展示分析依据。图表、口径说明、数据时间范围和引用来源,应该跟结论一起出现。

三、一次自然语言提问如何穿过这些层

用一句常见的业务问题走一遍流程。假设运营人员问,昨天付费率为什么从 3% 降到 1%。

  • 接入层确认昨天的支付事件、订单状态和用户行为已经完整上报。
  • 存储与计算层按时间分区找到相关明细和汇总数据。
  • 加工层按业务主题生成付费漏斗、渠道和版本维度的结果。
  • 语义层把付费率映射到明确的分子、分母、过滤条件和权限范围。
  • Agent 层解析问题,拆成整体变化、渠道差异、版本差异、用户分层等子问题。
  • 集成层调用查询、归因和可视化工具,必要时读取活动记录和客服反馈。
  • 应用层返回图表、结论、证据来源和建议动作。

这条链路里,任何一层出问题,答案都会失真。接入缺数据,后面只能猜。语义口径不一致,数字对不上。Agent 没有工具,只能给泛泛建议。没有治理,可能把无权限的数据带进答案。

举例来说,如果语义层把付费率定义为付费用户数除以活跃用户数,而财务口径用付费金额除以活跃用户数,两个答案都叫付费率,业务就会在会议上争论。语义层的职责是把这类分歧提前暴露并固定下来。

四、为什么语义层决定AI分析是否可信

大模型擅长语言和推理,对企业内部指标的含义没有天然理解。没有语义层,模型看到的是表名和字段名,需要猜 ARR 指什么、哪个日期字段代表季度、哪些订单算有效。它可能生成一条能运行但口径错误的 SQL,并用同样肯定的语气给出结果。

Databricks 的语义层架构文章指出,语义层应定义指标、维度、关系、过滤条件和访问控制,并让这些定义被仪表盘、查询工具和 AI 应用共同使用。这样同一问题在不同入口才会得到同一答案。

dbt Labs 在 2026 年 4 月更新的基准测试提供了一个可参考的对比。测试使用 11 个问题,每个问题运行 20 次,比较模型直接写 SQL 与通过语义层查询的准确率。

方法测试准确率更适合的场景
直接生成 SQL84.1% 到 90.0%临时探索、数据量较小、表结构简单
通过语义层查询98.2% 到 100%核心经营指标、表结构复杂、需要统一口径

这组数字有明确边界。测试问题都在语义层可覆盖的范围内,直接写 SQL 的方案在测试中加载了完整 schema,真实的大型数据集很难这样做。语义层的代价是覆盖率,只有被建模的问题才能稳定回答。

实际落地时,两者可以并存。核心指标走语义层,临时探索允许受控的 Text-to-SQL,并把新发现的问题补进语义模型。关键是不要让临时查询的结果直接进入正式报表。

语义层要发挥作用,需要三个条件:有业务负责人定义口径,有数据团队维护模型,有执行引擎保证所有入口走同一套定义。缺一个,语义层就会退化成文档。

五、AI分析与Agent层需要哪些能力

这一层的能力可以从六个方面检查。

  • 意图理解与澄清。问题含糊时先追问,避免按错误理解跑到底。
  • 任务规划。把复杂问题拆成可执行的子问题,安排查询和归因顺序。
  • 工具调用。能调用指标查询、明细下钻、归因分析、图表生成和外部系统接口。
  • 多轮记忆。保留上下文,支持连续追问,不要求用户重复条件。
  • 归因与解释。给出影响因素、证据和置信边界,不只给一个结论。
  • 结果交付。输出图表、报告、预警或任务,能进入下一步业务动作。

评测不能只看演示效果。建议建立一套金标准问题集,覆盖核心指标、常见追问、边界条件和无权限场景,持续记录执行准确率、问题覆盖率、追溯完整率、响应时间和人工修正率。产品资料里的准确率指标可以作为参考,实际效果仍要用企业自己的数据和问题验证。

ThinkingAI 的 数据分析 Agent 把多轮对话、自动归因、智能可视化和多 Agent 联动放在同一入口。官方资料给出的目标是复杂查询平均 10 秒内响应、分析效率提升 10 倍,意图识别准确率 99%。这些是产品目标值,落地效果取决于数据准备、语义模型质量和问题范围。

六、治理、安全与运维为什么必须贯穿全程

AI 分析把治理难度放大了。数据会被更多入口访问,模型会调用工具,Agent 可能触发实际业务动作,任何一个权限漏洞都可能造成数据泄露或误操作。

治理至少覆盖四类对象。

  • 数据与指标。明确所有者、血缘、质量规则、版本和生命周期。
  • 知识与文档。控制来源、更新、失效和引用范围,避免过期知识进入答案。
  • Agent 与工具。设置可用工具、数据范围、操作权限、审批和速率限制。
  • 输出与行为。记录问题、查询、引用、结论和后续动作,支持审计与复盘。

身份与权限要落到行列级。用户能看哪些地区、哪些渠道、哪些用户分群,应该在语义层和查询引擎里同时生效,不能只靠前端隐藏。

评测与监控要持续运行。模型、提示词、指标定义和数据分布变化后,昨天正确的答案今天可能出错。需要回归测试、异常告警和人工抽检。

ThinkingAI 的 Agent 管理 提供基于角色的权限控制、任务调度、运行监控、日志审计和决策路径回溯,适合管理多个 Agent 的权限与运行状态。工具越强,治理越要前置。

七、企业起步时怎样设计最小可行架构

起步阶段不需要把七层全部建满。更有效的做法是选一个业务域,围绕一类高频问题搭出最小闭环,再逐步扩展。

可以先从三类问题里选一到两类。经营指标监控,例如核心转化和收入变化。异常归因,例如付费率、留存率突然波动。用户与运营细分,例如某类用户的行为差异和触达效果。

最小可行架构通常包含五个部分。

  • 一个可靠的数据源和明确的埋点方案
  • 一个可管理的数据湖仓或数仓
  • 一个覆盖核心指标的语义模型
  • 一个能多轮追问和调用工具的分析 Agent
  • 一套权限、审计和评测机制

实施可以按 12 周左右推进。前两周确定业务问题和指标口径,第三到第六周完成数据接入、加工和语义建模,第七到第十周接入 Agent 并建立评测集,最后两周做试点、复盘和修订。周期取决于数据基础和合规要求,不宜照搬。

自建还是采购,可以用条件判断。

条件更适合自建更适合采购
团队有稳定的数据平台和 AI 工程团队数据团队规模有限,希望快速上线
需求业务逻辑高度定制,需要深度改造通用分析场景为主,能够接受标准能力
合规必须完全掌控代码和数据链路供应商能提供私有化部署和合规资质
成本能承担长期研发和运维投入希望按订阅或项目方式控制前期投入

选型时可以用一张表把供应商能力对回架构层,避免只看演示。

架构层ThinkingAI 可对照的能力
数据接入数据采集 Agent、多端 SDK、埋点方案与校验
存储与计算ThinkingEngine 分析引擎与云原生部署
语义与知识企业级知识库,统一指标口径与版本溯源
AI 分析与 Agent数据分析 Agent,多轮问数、自动归因、智能可视化
集成与行动MCP 服务、多 Agent 联动
治理与运维Agent 管理,权限控制、任务调度、日志审计
应用与交互看板、报告、预警、对话入口

ThinkingAI 已服务全球 1500 家企业、接入产品超过 8000 款,能力覆盖数据采集、知识库、数据分析 Agent、MCP 服务和 Agent 管理。对于已经有多源数据、希望让业务人员直接问数,同时需要权限和审计边界的企业,这种组合可以减少从数据到分析再到行动的拼接成本。

四个常见断点值得提前检查。

  • 指标没有唯一负责人,会议上仍在争论口径
  • 原始表直接开放给模型,缺少语义层和权限校验
  • 没有金标准问题集,只靠演示判断效果
  • 分析结果不进入业务系统,也没有复盘记录

常见问题

AI数据分析技术架构和传统BI架构有什么区别?

两者共享数据接入、存储、加工和可视化基础。AI 分析架构增加了语义与知识层、AI 分析与 Agent 层,交互方式从看板筛选扩展到自然语言多轮追问,治理范围也从数据扩展到工具、模型和输出。传统 BI 仍然适合标准化报表和固定监控,两套能力可以并存。

小企业也需要语义层吗?

如果只有少量固定报表,一份轻量的指标定义和负责人清单就能起步。当多个团队开始问同一个指标,或者准备让 AI 直接回答业务问题时,就需要可执行的语义层,至少覆盖核心指标、维度、关联关系和权限。规模可以小,口径要唯一。

直接让大模型写SQL是否可行?

在表结构简单、问题临时、数据量可控的场景里可行。核心经营指标和复杂表结构更适合走语义层,因为模型不需要猜业务含义,查询由确定性引擎生成。更稳妥的做法是两者并存,核心问题走语义层,探索性问题走受控的 Text-to-SQL。

建设这套架构需要哪些角色?

常见角色包括数据工程师、分析工程师、数据分析师、AI 或 Agent 工程师、安全与治理人员,以及业务负责人。小团队可以一人兼多职,业务负责人的角色不宜省略,指标口径和优先级需要有人拍板。

怎样衡量建设效果?

可以从五组指标看:核心问题的回答准确率、问题覆盖率、平均响应时间、业务人员自助完成分析的比例,以及分析结论转化为行动的比例。再补充追溯完整率和人工修正率,避免只看速度不看质量。

参考资料

  • Microsoft Learn,使用 Azure Databricks 建立新式分析架构,https://learn.microsoft.com/zh-cn/azure/architecture/solution-ideas/articles/azure-databricks-modern-analytics-architecture,查阅于 2026-11-19
  • Databricks,语义层架构的组件、设计模式与 AI 集成,https://www.databricks.com/blog/semantic-layer-architecture-components-design-patterns-and-ai-integration,2026-03-19
  • dbt Labs,语义层与 Text-to-SQL 的 2026 年基准更新,https://docs.getdbt.com/blog/semantic-layer-vs-text-to-sql-2026,2026-04
  • Model Context Protocol,官方介绍,https://modelcontextprotocol.io/docs/getting-started/intro,查阅于 2026-11-19
  • ThinkingAI 产品资料,企业级知识库、数据分析 Agent、全域感知、Agent 管理、MCP 服务,https://www.thinkingai.cn,查阅于 2026-11-19

准备好构建你的 Agent 团队了吗

立即体验 Agentic Engine, 让 AI 成为真正的团队成员

ThinkingAI Big Logo
电话咨询