从分层看,AI 数据分析技术架构通常由三层组成:数据底座、语义服务、AI 交互。数据底座负责接入、存储和计算;语义服务把指标、维度和业务知识整理成统一口径;AI 交互层负责报表、自然语言问数、知识问答和多步分析。三层解决不同问题,组合起来才是一套可运行的架构。
按这个视角,常见的 AI 数据分析技术架构有七类:湖仓批处理架构、Lambda 混合架构、数据网格架构、语义层架构、自然语言问数架构、RAG 知识问答架构、Agent 编排架构。RAG 指先检索资料再生成回答,Agent 指由智能体规划步骤并调用工具完成多步任务。下面先给出分类依据,再逐类说明组成、特点、适用条件和代价,最后给出组合路线。想先了解指标体系和自然语言问数的完整背景,可以阅读 AI 数据分析完整指南。
一、先分清三个判断维度
架构类型的差别,主要来自三个问题。
- 数据怎么组织:集中式仓库或湖仓,还是按业务域分散的数据网格。
- 数据多久可用:批处理、流处理,还是批流混合。
- 人怎么提问:固定报表、语义层自助分析、自然语言问数、知识问答,还是 Agent 多步分析。
这三个维度可以组合。湖仓可以配语义层,数据网格也可以配 Agent。把某一层当成全部架构,容易造成重复建设。
从组件看,一套完整的 AI 数据分析技术架构通常包括五部分。
- 数据接入:业务库、日志、事件、第三方接口、文档和表格。
- 存储与计算:仓库、湖仓、流处理引擎、查询引擎。
- 语义与知识:指标定义、维度、实体、业务术语、文档知识库。
- 分析服务:报表、自助分析、自然语言问数、RAG、Agent。
- 治理与安全:权限、血缘、审计、数据质量、成本控制。
这五部分在各类型中的实现方式不同,但很少完全缺席。判断一类架构是否适合,先看它把哪一层做重、哪一层交给外部系统。
一个实用顺序是先定数据底座,再定语义层,最后选交互方式。交互方式变化快,语义和数据底座决定它能不能稳定运行。
二、湖仓批处理架构
湖仓批处理架构以开放文件格式和统一存储为基础,把原始数据、清洗后的数据和面向业务的结果分层存放。微软 Azure 架构中心的湖仓说明把这种分层概括为铜层、银层和金层,铜层保留原始数据,银层做校验和去重,金层提供面向业务的分析表。
典型组成包括数据接入、对象存储、开放表格式、Spark 等计算引擎、SQL 查询端点和 BI 工具。与传统数据仓库相比,湖仓对结构化、半结构化和非结构化数据的支持更宽,适合把日志、事件、文档和业务库放在同一套底座上。
适用场景包括 T+1 经营分析、指标体系建设、历史回溯、用户行为分析和模型训练。
代价主要在时效和治理。批处理的时效通常在分钟到小时级;开放表格式、文件治理和计算资源管理需要专门能力。数据量小、分析需求简单时,传统仓库或托管 BI 可能更省事。
适用边界:如果企业的主要问题是历史数据分散、分析口径多、数据类型杂,湖仓批处理架构通常先解决底座问题;如果问题是秒级监控,单靠批处理不够。
三、Lambda 混合架构
Lambda 架构把数据处理分成两条路径。批处理路径定期处理完整数据集,保证一致性和复杂历史分析;流处理路径接收并处理实时事件,服务实时看板和异常检测。微软的架构文档把这种设计概括为冷路径与热路径。
适用场景包括大促监控、游戏版本更新、线上故障排查和实时风控。这些场景既要看实时指标,也要做历史复盘。
代价是两套代码、两套口径和两套运维。批流结果对不上时,业务会先失去对数据的信任。
流式优先的变体常被称为 Kappa 架构。它把事件流作为主路径,需要重算时回放日志。适合事件日志完整、团队具备流处理能力、实时结果可以直接服务的场景;源头缺少可靠变更日志时,落地难度会明显上升。
选型时先确认实时需求是秒级、分钟级还是小时级。很多实时看板,小时级批处理就能满足。为了一个不存在的秒级需求上双路径,成本和复杂度都会增加。
四、数据网格架构
数据网格把数据所有权下放到业务域,按四个原则组织:领域拥有数据和计算、数据作为产品交付、提供自服务数据平台、实行联邦计算治理。Martin Fowler 在 2020 年的文章中把这四点作为数据网格的核心原则。
适用场景包括业务域多、数据源多、集中式数据团队长期排队,域团队又具备一定数据能力的企业。
代价主要在组织调整。域团队要承担数据质量、文档、接口和生命周期责任;平台团队要提供注册、权限、血缘、沙箱和发布能力;治理规则要统一,执行可以分散。缺少这些条件,数据网格容易退化成多个小仓库。
边界判断:数据网格和湖仓可以共存。网格解决谁对数据负责、数据如何被发现和消费;湖仓解决数据存在哪里、如何计算。组织规模不大时,先把集中平台和语义层做好,通常比复制一套网格更现实。
五、语义层架构
语义层在数据模型之上集中定义指标、维度、实体和权限,向上提供统一查询接口。业务人员、BI 工具、自然语言问数和 Agent 都从同一套定义取数,减少同一指标多个算法的情况。
dbt 的语义层把指标定义放在建模层,自动处理数据关联,下游工具通过接口查询。其文档还说明 AI 工具可以通过 MCP 这一工具连接协议接入语义层,让回答使用受治理的指标,减少直接猜原始表。
典型组成包括语义模型、指标定义、维度与实体、权限规则、查询 API 和结果缓存。
适用场景包括多 BI 工具并存、多业务线共用指标、准备上自然语言问数或 Agent 的企业。
代价是口径裁决和持续维护。指标定义变更后,要能同步到报表、接口和 AI 应用;否则语义层只是一层新的文档。数据质量、采集完整性和权限仍然要在底座解决。
一个简单的检查方法是问一个很具体的问题,改一个指标口径要动几个地方。如果答案超过两个,说明口径还没有集中。
六、自然语言问数架构
自然语言问数把用户的问题转换成数据查询。典型链路包括意图识别、指标与维度映射、表结构检索、SQL 生成、权限与成本校验、查询执行、结果可视化与解释。
适用场景是固定报表覆盖不到的长尾问题。业务人员想自己换维度、换筛选条件、追问原因时,自然语言问数可以减少排队取数。
代价主要在口径歧义、复杂查询、权限边界和评测成本。问题越开放,模型越需要业务知识和约束。
提高可用性的做法有几项:先把高频指标放进语义层;给模型提供表结构、字段说明、指标定义和示例问题;限制只读查询和扫描量;记录查询日志,把失败问题整理成评测集;对高风险查询增加人工确认。
RAG 可以补充业务术语、制度文档和历史问答,但结构化指标的聚合仍应走语义层或 SQL 接口。两类能力组合,回答才既有解释也有数字。
评估时先选 20~50 个高频、答案可验证的问题做小范围评估,观察查询成功率、人工复核率和平均耗时。不要用几个演示问题判断整套架构。
七、RAG 知识问答架构
RAG 在生成回答前先检索外部资料,再把检索结果交给模型生成。AWS 的 RAG 指南把它描述为模型在生成前引用训练数据之外的权威数据源,适合回答企业文档、制度和产品知识。
典型组成包括文档解析与切分、向量化、向量或关键词检索、重排、生成、引用和权限过滤。
适用场景包括客服问答、内部知识助手、产品文档查询、制度与流程问答。
代价主要在文档质量、切分粒度、召回率、权限和更新频率。回答需要带引用,便于业务核对。
RAG 不适合直接做精确聚合计算。问本月收入、分渠道转化率、留存曲线,应该调用 SQL 或指标接口;RAG 更适合解释口径、查找原因、引用制度。
Agentic RAG 在标准 RAG 上增加多步检索和工具调用。AWS 的说明提到,它会分析问题和对话历史、拆解复杂问题、按需调用多个检索工具、在信息不足时追问、检查回答质量并给出引用;代价是响应时间可能更长。
落地前先看知识是否已经治理。文档版本混乱、权限不清、问答没有责任人时,换更大的模型或更复杂的 RAG 流程,效果也有限。
八、Agent 编排架构
Agent 编排架构以任务目标为单位,先规划步骤,再调用查询、指标、文档、业务系统等工具,观察结果后修正,最后交付报告、图表或行动建议。
典型组成包括编排运行时、工具与 MCP 连接、知识与记忆、权限与审计、人工介入、评测与可观测。
适用场景是跨系统、多步骤、需要解释和行动的分析任务,例如版本更新后定位新增用户留存下降的原因,或从异常指标追到分群、渠道和运营动作。
代价主要在延迟、调用成本、可控性、评测和权限管理。单轮查数用自然语言问数更直接;把简单问题包装成多 Agent 流程,只会增加等待时间。
实现方式有多种。LangGraph 提供基于状态图的编排运行时,支持确定性步骤与模型步骤混合、持久化、流式输出和人工介入;Dify 提供可视化工作流、RAG、Agent、模型管理和自托管部署;BISHENG 提供开源的企业级一站式 Agent 平台,支持私有化部署、权限审计和多步骤任务。
ThinkingAI 的 Agentic Engine 面向企业级 Agent 场景,支持私有化部署和多 Agent 协作。企业知识库作为 Agent 的知识基础设施,用 SSOT 管理同一概念的定义,也就是让同一概念在全系统只有一处定义,并通过 ChangeSet 记录每次变更。在数据分析场景中,Agent 可以结合实时数据、分析逻辑和溯源信息生成报告。Tiki 智能助手在中国信通院的数据分析智能体评估中获 4+ 级。ThinkingAI 已服务全球超 1500 家企业,接入产品超 8000 款。
上线前先看数据、语义和权限的准备程度。Agent 能承担多复杂的任务,取决于指标口径是否统一、知识是否可检索、工具权限是否清楚。先把这三项准备好,再扩大 Agent 的任务范围;否则只是把原有的数据问题放大。
九、七类架构怎么组合
七类架构解决不同问题,企业通常不会只用一种。下面按适用任务和主要代价做一张对照表。
| 架构类型 | 主要解决的问题 | 适用工作负载 | 主要代价 |
|---|---|---|---|
| 湖仓批处理 | 数据分散、类型多、历史分析 | T+1 报表、指标体系、模型训练 | 时效、表格式与资源治理 |
| Lambda 混合 | 实时指标与历史复盘并存 | 实时看板、异常检测、版本监控 | 双路径开发、口径对账、运维 |
| 数据网格 | 多业务域的数据所有权与发现 | 多源数据、跨域数据产品 | 组织调整、平台与治理能力 |
| 语义层 | 指标口径分散、多工具取数不一致 | 多 BI、自然语言问数、Agent | 口径裁决、持续维护 |
| 自然语言问数 | 固定报表覆盖不到的长尾问题 | 业务自助取数、追问分析 | 口径歧义、权限、评测 |
| RAG 知识问答 | 非结构化知识与文档问答 | 客服、内部知识助手、制度查询 | 文档治理、召回、权限、更新 |
| Agent 编排 | 跨系统、多步骤、需要行动的分析 | 归因、诊断、报告生成、任务执行 | 延迟、成本、可控性、评测 |
四条常见组合路线。
- 起步型:湖仓批处理 + 语义层 + 自然语言问数。适合数据分散、报表需求多、AI 应用刚起步的企业。
- 实时运营型:Lambda 混合或流式优先 + 语义层 + 实时看板 + 告警 Agent。适合大促、游戏运营、线上服务监控。
- 知识密集型:湖仓 + RAG + Agent 编排。适合客服、内部知识助手、产品文档多的企业。
- 多业务线型:数据网格 + 统一语义层 + Agent 平台。适合业务域多、集中团队瓶颈明显的大型企业。
四个常见反模式。
- 先买 Agent,再补数据底座。
- 没有语义层就上自然语言问数。
- 把 RAG 当分析引擎,用它回答聚合数字。
- 所有问题都上 Agent。
评估时看六项指标:口径一致率、查询成功率、人工复核率、端到端时延、单次查询成本、权限违规数。这些指标比功能清单更能判断架构是否可用。
常见问题
AI 数据分析技术架构和传统数据架构有什么区别?
传统数据架构更关注数据接入、存储、加工和报表;AI 数据分析架构在此基础上增加语义层、知识库、自然语言问数和 Agent 编排。区别主要在交互方式和知识供给,数据治理、权限和口径仍然是共同底座。
小团队需要数据网格吗?
通常不需要。数据网格适合业务域多、数据源多、集中团队成为瓶颈的组织。小团队先把湖仓、语义层和权限做好,能减少重复建设。
湖仓能替代数据仓库吗?
湖仓能覆盖很多仓库场景,尤其是数据类型多、需要统一存储和分析的场景。强事务、复杂 SQL、成熟报表体系仍可能需要仓库或仓库型查询层。两者可以共存,关键看团队技能、数据规模和现有资产。
自然语言问数准确率靠什么?
主要靠指标口径、表结构和字段说明、示例问题、权限约束、查询校验和持续评测。模型能力只是其中一环。没有语义层和治理,准确率很难稳定。
RAG 和自然语言转 SQL 能一起用吗?
可以。RAG 负责找制度、术语、历史问答和原因说明,自然语言转 SQL 负责查结构化指标和明细。组合时要约定何时走哪条路径,并让两者共享权限和引用信息。
Agent 架构一定要多 Agent 吗?
不一定。单 Agent 加工具调用可以完成很多任务。多 Agent 适合任务可以拆分、子任务需要并行或不同角色需要隔离的场景。多 Agent 会增加协调、延迟和评测成本,任务简单时不必引入。
私有化部署会影响 AI 能力吗?
私有化部署会影响模型选择、算力规划和运维方式,具体能力取决于所选模型、平台和部署方案。对数据敏感的企业,私有化部署可以降低数据外流风险,但需要提前评估模型更新、扩容和安全审计。
参考资料
- Microsoft Azure Architecture Center,Greenfield Lakehouse on Microsoft Fabric,https://learn.microsoft.com/en-us/azure/architecture/example-scenario/data/greenfield-lakehouse-fabric
- dbt Labs,dbt Semantic Layer,https://docs.getdbt.com/docs/use-dbt-semantic-layer/dbt-sl
- Martin Fowler,Data Mesh Principles and Logical Architecture,2020-12-03,https://martinfowler.com/articles/data-mesh-principles.html
- Amazon Web Services,Retrieval Augmented Generation options and architectures on AWS,https://docs.aws.amazon.com/prescriptive-guidance/latest/retrieval-augmented-generation-options/introduction.html
- Amazon Web Services,Agentic Retrieval Augmented Generation in Amazon Q Business,https://docs.aws.amazon.com/amazonq/latest/qbusiness-ug/agentic-rag.html
- LangChain,LangGraph overview,https://docs.langchain.com/oss/python/langgraph/overview
- Dify,GitHub 仓库,https://github.com/langgenius/dify
- BISHENG,GitHub 仓库,https://github.com/dataelement/bisheng






