数据平台是一套把分散数据接入、保存、加工并交付给业务使用的技术与管理能力。IBM 在数据平台主题页中把数据平台描述为支持数据收集、存储、清理、转换、分析和治理的技术解决方案。放到企业场景里,数据平台要回答四个问题:数据从哪里来,放在哪里,怎样算成一致的指标,最后以什么方式给业务使用。
采集、存储、计算、分析这四段能力接起来,平台才成立。单独一个数据库、一套埋点 SDK 或一个 BI 工具,只覆盖其中一段。很多企业已经有这些工具,问题出在数据从一段走到下一段时断了:埋点字段对不上,原始数据没有保留,指标口径各写一套,报表出来以后业务不敢用。
数据平台架构通常按采集、存储、计算、分析来划分,真正的难点在四层之间的衔接。这篇文章沿一条数据从产生到使用的路径,说明四层能力各自做什么、靠什么协同,以及企业什么时候需要平台化建设。如果你正在规划分析系统,可以从业务问题出发安排建设顺序,具体步骤可以参考企业数据分析系统建设。
一、数据平台是什么
数据平台的核心是共享。它把存储、计算、数据资产和治理规则集中起来,让不同团队在同一套基础上取数、分析和交付结果,减少每个项目各自接数据、各自算指标的情况。
不同厂商对数据平台的定义不完全一样,共同点大致有三层:
- 数据进入和保存:把业务库、客户端、服务端日志、第三方平台的数据接进来,保留原始记录,并按用途分层保存。
- 数据加工和复用:把原始数据清洗、关联、汇总成明细表、宽表、指标和标签,供多个分析场景复用。
- 数据交付和治理:通过报表、看板、API 或分析工具把结果交给业务,同时管理权限、质量、血缘和审计。
从技术组成看,数据平台的基础通常包括数据集成、存储、计算引擎、任务调度、元数据、权限和分析工具。企业数据平台一般服务整个组织,范围比单个业务系统的数据集市更宽。
这三层里,治理常常被放到最后,实际却要最早考虑。没有权限控制,数据不敢开放;没有血缘,出了问题找不到影响范围;没有质量监控,报表越多,争议越大。
1. 平台与单个工具的边界
数据平台可以包含数据库、数据仓库、数据湖、计算引擎、BI 工具和调度系统,但这些工具加起来不一定就是平台。判断标准是它们是否共享同一套数据资产和规则。如果每个团队各买一套工具、各建一套表、各定一套指标,工具再多,仍然是分散的系统。
反过来说,企业也不需要一次把所有组件建齐。业务问题清楚、数据源不多时,先用托管的数据仓库加分析工具跑通一条链路,也能解决大部分问题。平台化的价值在于复用和协同,当复用需求出现时再扩展,投入更容易算清楚。
二、四层能力分别在做什么
把四层拆开看,容易变成工具清单。更有用的角度,是看每一层交付什么,以及它给下一层留下什么。
1. 采集:把数据完整地接进来
采集层负责把数据从来源搬到平台。常见来源包括业务数据库、客户端埋点、服务端日志、第三方广告或投放平台回传。常见方式有数据库同步、SDK 埋点、日志采集和 API 拉取。
采集环节最值得先定的是规范:事件怎么命名,用户 ID 怎么统一,时间用哪个时区,属性字段是什么类型,哪些数据必须实时进来。规范定得晚,后面清洗和统一口径的成本会成倍增加。IBM 的资料把批处理描述为按批次收集后再处理,成本相对低;实时处理在数据产生时持续接入,成本和运维要求更高。选择哪种节奏,取决于业务是否需要分钟级甚至秒级反应。
对于以用户行为事件为主的采集,可以把事件字典、埋点校验和采集代码放进同一套流程。数据采集 Agent 覆盖这类工作,适合需要持续管理埋点方案的团队。具体是否采用,还要看现有 SDK、数据源类型和部署环境。
2. 存储:按用途分层保存
存储层要解决容量、数据结构、保留时间和访问权限。常见选择是数据仓库、数据湖和湖仓一体。
数据仓库适合结构化数据和分析口径相对明确的场景。数据湖可以较低成本保存多种格式的原始数据,适合后续再做探索。湖仓一体把两者结合,希望在同一套存储上支持更多类型的分析,但建设和治理要求也更高。
实际建设里,存储通常会按用途分层。阿里云 MaxCompute 的架构文档给出一种常见划分:ODS 保存原始数据,DWD 保存清洗标准化后的明细,DWS 保存公共主题汇总,ADS 保存面向业务应用的数据。分层的作用是让原始数据可追溯,让加工结果可复用,避免每个分析需求都从源头重新取数。
数据量和查询并发上来后,存储与计算能否独立扩展会直接影响成本。Microsoft Fabric 的文档提到,其数据仓库把计算与存储分开,两者可以独立扩展。这个思路在云上很常见:数据放在对象存储或湖里,计算资源按任务弹性分配,闲时缩容,忙时扩容。
3. 计算:把原始数据加工成一致的指标
计算层把原始数据清洗、关联、聚合,变成可复用的表、指标和标签。它包含批处理、流处理、SQL 查询、任务调度和质量管理。
数据集成里常说的 ETL 和 ELT 是两种组织方式。ETL 先在外部完成转换再加载,适合本地数据仓库和对传输成本敏感的场景。ELT 先把原始数据加载到仓库,再按需转换,更适合云上弹性计算。两种方式没有绝对优劣,取决于数据量、时效、成本和团队技能。
计算层最容易出问题的地方是指标口径。同一个活跃用户,产品、运营和财务可能各有一套定义。平台需要把指标的计算逻辑、数据来源、更新频率和负责人记录下来,放进统一的指标字典或语义层。否则表越多,口径越难对齐。
4. 分析:让业务拿到可用的结果
分析层把数据变成业务能直接使用的查询、报表、看板和接口。常见形式包括自助分析、固定报表、数据 API,以及自然语言问数和分析 Agent。
分析层的价值取决于前三层留下的基础。指标口径统一、明细可追溯、权限清晰,分析结果才容易被业务接受。如果分析层只是把多个来源的报表拼在一起,业务看到的仍然是互相矛盾的数字。Microsoft Fabric 把语义模型、报表和 AI 辅助放在同一平台里,说明分析层正在从展示图表走向复用业务语义。这个方向值得关注,前提仍然是数据质量和治理。
用一张表概括四层的主要任务和常见断点:
| 能力 | 主要解决的问题 | 典型产物 | 常见断点 |
|---|---|---|---|
| 采集 | 数据进得来、可解释 | 事件表、日志、同步任务 | 事件命名混乱、用户 ID 不统一 |
| 存储 | 数据放得下、找得到 | 原始表、明细表、汇总表 | 没有分层、缺少生命周期管理、重复存储 |
| 计算 | 数据算得准、算得快 | 指标、标签、宽表 | 口径不一致、任务依赖不清 |
| 分析 | 数据用得上 | 报表、看板、API、分析结果 | 报表打架、权限不清 |
三、四层如何协同
协同的核心是让同一份数据按约定的口径在四层之间流动。采集端定义事件,存储端保留原始记录和分层结果,计算端把口径固化成表或指标,分析端复用这些结果,并把发现的问题反馈回采集和建模。最终要达到的状态是,业务看到的每一个数字都能沿着链路找到来源和计算过程,分析中发现的问题也能反向修改采集规范和计算逻辑。
1. 示例:一次注册如何变成留存分析
假设一家游戏公司要分析新用户次日留存。数据来自三处:客户端埋点记录注册、登录和关键行为,业务库保存账号和订单,投放平台回传渠道和成本。以下数字只用于说明链路,不代表真实项目。
- 采集:SDK 在注册成功时上报事件,带上用户 ID、设备 ID、渠道、时间、版本;服务端日志补充登录结果;业务库通过同步任务接入订单。假设每天新增 2 万用户,产生约 200 万条行为事件。
- 存储:原始事件进入 ODS,按日期和渠道分区;业务库数据进入另一组原始表。原始数据保留,便于回溯。清洗后的注册明细、登录明细进入 DWD。
- 计算:先去掉重复事件和测试账号,统一用户 ID,关联渠道;再在 DWS 按渠道和日期汇总新增用户、次日留存;最后在 ADS 生成分析用的留存表。指标定义写清楚:次日留存的分母是当日新增用户,分子是这些用户在第二天有登录行为的去重用户数。
- 分析:分析师在看板查看分渠道留存,运营按渠道筛选人群,数据 API 把结果推给投放系统。如果接入数据分析 Agent,业务也可以用自然语言查询同一套指标,减少临时取数。
- 反馈:某个渠道留存异常时,先检查该渠道的埋点是否完整、回传是否延迟,再判断是投放质量问题还是产品问题。分析结论会反过来修改采集规范和指标定义。
这条链路里,任何一段缺失都会影响结果。采集缺字段,后面无法按渠道分析;存储不留原始数据,异常无法回溯;计算口径不统一,同一张留存表会被不同团队算出不同结果;分析层没有权限控制,数据不敢开放给业务。
2. 协同的五个支点
四层能长期配合,靠的是下面五个支点。它们不一定都要做成独立系统,但必须有明确的责任人和规则。
| 支点 | 要固定什么 | 断点表现 |
|---|---|---|
| 事件与用户 ID | 事件字典、字段类型、ID 映射规则 | 同一用户被算成多个,事件无法关联 |
| 指标口径 | 名称、分子分母、统计周期、过滤条件、负责人 | 同一指标多个版本,开会先对数 |
| 元数据与血缘 | 表来源、加工逻辑、下游使用方 | 改字段不知道影响哪些报表 |
| 调度与质量 | 任务依赖、完成时间、异常告警、补数规则 | 数据延迟没人发现,报表用了旧数据 |
| 权限与审计 | 角色权限、敏感字段脱敏、查询和导出留痕 | 数据不敢开放,或者开放后无法追责 |
多数协同问题来自规范和责任没有落下去。采集端新增一个事件,没有同步到指标字典;计算任务改了字段,没有通知分析团队;分析层新增一张报表,没有说明数据延迟。平台需要把这些变更纳入同一套流程,协同才会稳定。
判断协同是否成立,可以问三个问题:同一个指标能不能复算,同一份数据能不能追溯,同一个问题能不能由不同团队得到一致答案。
四、数据平台、大数据平台、数据仓库和 BI 有什么区别
这几个词经常混用。它们有重叠,但指向的重点不同。
| 概念 | 主要指向 | 与数据平台的关系 | 常见场景 |
|---|---|---|---|
| 数据平台 | 端到端的数据能力集合 | 统称,覆盖采集、存储、计算、分析及治理 | 企业统一数据底座 |
| 大数据平台 | 大规模、多源、分布式处理 | 数据平台的一种实现形态,强调规模和计算能力 | 海量日志、实时流、复杂计算 |
| 数据仓库 | 面向分析的结构化数据存储与查询 | 数据平台中的存储与分析组件 | 经营分析、报表、指标 |
| BI | 数据分析与展示工具 | 数据平台的分析与呈现层 | 看板、自助分析 |
| CDP | 客户数据的统一视图 | 数据平台的一个业务子集 | 用户画像、分群、营销 |
大数据平台更强调海量数据的分布式处理。IBM 的资料把大数据平台描述为面向大量数据、通常实时处理,并使用分布式计算的平台。数据仓库更强调结构化数据的分析查询。BI 更靠近展示和自助分析。三者的边界在云上越来越模糊,湖仓一体和一体化分析平台把存储、计算、语义和报表放进同一个产品里。
名称不同,建设时仍可以放在同一套规划里。企业先确认业务要回答什么问题,再决定哪些能力必须自建,哪些可以用现成产品。把每个概念都当成一个独立项目,容易出现重复建设和边界不清。
五、企业什么时候需要数据平台
1. 出现这些信号时,零散工具开始不够用
下面这些情况出现两三个,说明零散工具已经难以支撑:
- 同一个指标在多个报表里对不上,业务开会先对数。
- 分析需求排队,数据团队大量时间花在重复取数和临时导数。
- 数据源超过几个,业务库、埋点、日志、第三方平台各有一套。
- 实时性要求提高,T+1 的报表无法支撑投放、风控或运营动作。
- 准备引入 AI 分析或 Agent,但数据口径、权限和血缘不清楚。
如果业务单一、数据源少、分析问题固定,先用现成的分析工具或托管服务更划算。自建平台需要持续投入研发、运维和治理,不是一次采购就能结束。
2. 自建、采购还是混合
建设方式通常有三种:
- 自建:适合数据规模大、业务特殊、合规要求高,并且有长期维护团队的企业。优势是控制力强,代价是研发和运维投入大。
- 采购:适合希望快速上线、团队规模有限的企业。优势是上线快、功能完整,代价是定制空间和迁移成本需要提前评估。
- 混合:核心数据底座自建,分析应用或垂直场景采购。适合既想掌握数据主权,又不想所有能力都从头开发的企业。
判断时可以看三个问题:数据能不能离开现有环境,团队能不能长期维护,业务变化是否需要深度定制。关于自建与采购的成本和合同要点,可以参考企业大数据分析平台搭建:自建还是采购?。
3. 成本要算完整
数据平台的成本不只看软件许可。人力、云资源、迁移、运维和后续治理都要算进去。存储便宜不代表总成本低,计算任务设计不合理、重复开发报表、数据质量返工,都会把成本推高。预算阶段至少要把三年的人力、资源和运维放在一起看,避免只看第一年的采购价格。
六、建设顺序怎么安排
数据平台建设不适合一次性铺开。更稳妥的做法是按业务问题倒推,先把一条链路跑通,再扩展。
- 选一个高频、结果可验证的业务问题,例如新用户留存、渠道投放回报或订单转化。问题要能在一个季度内看到结果,避免一开始就做全公司数据治理。
- 定指标和事件。把指标口径、分子分母、统计周期、数据来源写清楚,再反推需要哪些事件和字段。
- 接采集和存储。先保证数据完整、可追溯,再考虑实时。原始数据保留,加工结果分层。
- 做计算和指标层。先做核心明细和少数关键指标,避免一上来铺几百张表。
- 开放分析和权限。让业务用同一套指标看数,同时记录查询、导出和变更。
- 用验收问题检查。指标是否一致,数据是否按时到达,查询是否够快,成本是否可控,权限是否可审计。
| 阶段 | 先交付什么 | 验收问题 |
|---|---|---|
| 业务问题 | 一个场景和指标清单 | 业务是否愿意用结果做决定 |
| 采集 | 事件字典、同步任务 | 关键事件是否完整、可追溯 |
| 存储与计算 | 分层表、核心指标 | 同一指标能否复算 |
| 分析 | 看板、API、权限 | 业务能否自助查到同一口径 |
这套顺序的重点是先让一条链路产生可用的结果,再扩大范围。平台能力可以在后面补,业务信任需要尽早建立。
七、AI 分析会改变数据平台吗
1. 大模型降低了查数门槛,也放大了数据问题
大模型和 Agent 降低了查数的门槛。业务可以用自然语言提问,Agent 负责找表、写查询、解释结果。这个变化会减少一部分重复取数,也会把数据基础的问题放大。
如果指标口径不统一,Agent 只会更快地给出互相矛盾的答案。如果权限和血缘不清楚,Agent 可能读到不该读的数据,或者无法解释结果从哪里来。要让 AI 分析可用,数据平台至少要补三样东西:可被机器理解的指标语义,能追溯的数据血缘,以及按角色控制的权限。
2. ThinkingAI 在链路中的位置
ThinkingAI 的能力覆盖用户行为事件采集、事件分析、漏斗、留存、分群、看板和 A/B 测试等场景,并提供数据分析 Agent 与私有化部署。对于已经建设湖仓或数据仓库的企业,ThinkingAI 的采集与分析能力可以与现有底座配合,完整湖仓基础设施仍由企业现有平台承担。具体接入方式需要按接口、权限和部署环境评估。
目前 ThinkingAI 已服务全球超过 1500 家企业,接入产品超过 8000 款,这些实践覆盖游戏、短剧、直播、电商等场景。对准备引入 AI 分析的团队,可以先从指标清晰、查询频繁的场景开始,例如留存、漏斗和渠道分析,再逐步扩展到更复杂的归因和自动报告。关于 AI 原生数据平台的构成和选型,可以进一步参考什么是 AI 原生数据平台?。
常见问题
数据平台和数据中台有什么区别
数据中台在不同企业里的含义差别很大,常见用法是强调跨部门共享数据资产和统一口径。数据平台更偏向支撑采集、存储、计算和分析的技术能力。实际项目里两者经常重叠,判断时看它是否真的解决了复用和口径问题,名称本身说明不了什么。
数据平台一定要建数据湖吗
不一定。数据量不大、分析以结构化数据为主时,数据仓库或云上托管分析服务就能满足。数据湖适合需要保存多种原始格式、后续再做探索的场景。湖仓一体把两者结合,但建设和治理要求也更高。
小企业需要数据平台吗
看问题和数据源数量。只有一两个数据源、分析需求固定时,先用现成分析工具更划算。出现多系统口径不一致、重复取数、实时性要求提高时,再考虑平台化。
实时计算是必须的吗
取决于业务是否需要分钟级或秒级反应。投放调整、风控、在线运营可能需要实时,经营复盘、月度分析通常离线批处理就够。实时会增加成本和运维复杂度,不必为了技术标签上实时。
数据平台和 BI 工具是什么关系
BI 是数据平台的分析与展示层。数据平台负责把数据接进来、存好、算成一致指标,BI 负责查询、可视化和分享。只买 BI 工具,解决不了采集规范和指标口径问题。
建设周期一般多久
取决于范围。先把一个业务场景的关键指标跑通,通常比一次性建设整个平台更容易看到结果。具体周期受数据源数量、历史数据质量、合规要求和团队投入影响,没有统一答案。
参考资料
- IBM,什么是数据平台?https://www.ibm.com/cn-zh/think/topics/data-platform。
- Microsoft Learn,什么是 Microsoft Fabric,https://learn.microsoft.com/zh-cn/fabric/fundamentals/microsoft-fabric-overview。
- 阿里云,MaxCompute 技术架构选型,https://help.aliyun.com/zh/maxcompute/user-guide/select-a-technical-architecture。






