用户画像数据开发,是把业务库、日志、订单和 CRM 里的用户信息,加工成一张张口径明确、能定时更新、可查询和可圈选的标签表。人物角色、用户故事属于业务表达,数据团队交付的是标签资产和标签服务。
只做单张报表,数据链路可以很短。要把画像长期用起来,数据开发还要依次解决五件事:数据从哪里来,同一个用户怎么认,标签怎么存和算,结果怎么更新和服务,最后怎么证明标签可信。下面按这个顺序拆解,并给出表结构、计算示例和验收清单。业务侧如何设计标签和运营分群,可以先看用户画像怎么做,本文聚焦数据工程。
一、先定业务问题,再列标签清单
画像项目常见的返工,来自标签清单先于业务问题。运营要召回哪一批人,产品要看哪一段转化,风控要拦哪类行为,不同问题需要的标签差别很大。先写清楚一个决策,再倒推标签,范围会小很多。
一个可用的起点是这句话:谁在什么时间,要用哪些标签,对哪批用户做什么动作,动作效果用什么指标验证。例如运营要在 7 天内召回近 30 天未活跃、历史付费较高的玩家,标签至少包括最近活跃日期、近 30 天付费金额、生命周期阶段和流失风险。没有对应动作的标签,可以先不建。
1. 一张标签定义卡要写清什么
标签定义卡是数据开发和业务使用之间的合同。字段可以按团队习惯调整,下面这些信息建议保留。
| 字段 | 要写清的内容 |
|---|---|
| 标签名称与编码 | 中文名用于展示,编码用稳定的英文小写和下划线,避免同名不同义 |
| 业务含义 | 这个标签回答什么业务问题,不写技术过程 |
| 业务口径 | 时间窗口、过滤条件、排除项、去重方式 |
| 数据来源 | 来源表、事件名、字段、上游负责人 |
| 计算逻辑 | 规则、公式、模型版本,必要时附 SQL 路径 |
| 粒度与主键 | 一行代表什么,按用户、设备还是账号 |
| 更新频率 | 每日、每小时、实时,最晚何时可用 |
| 负责人 | 口径负责人、任务负责人、使用方联系人 |
| 验收标准 | 覆盖率、空值率、准确性抽检和异常阈值 |
| 使用场景 | 支撑哪些分群、报表或接口,方便判断能否下线 |
一张定义卡写不清时间窗口和去重方式,后面的 SQL 很容易出现两种解释。比如近 30 天活跃用户,是按自然日还是滚动 30 天,登录算不算活跃,同一用户多次登录怎么去重,都要在开发前定下来。
一个能被三个场景稳定使用的标签,比二十个没人维护的标签更有价值。标签数量不是成绩,能否支撑决策、能否持续维护,才是判断标准。
二、用户画像数据开发的完整链路
把画像数据开发拆开,通常会经过六段。每段的交付物和验收点不同,混在一起做,问题很难定位。
| 环节 | 主要输入 | 交付物 | 验收点 |
|---|---|---|---|
| 数据接入 | 业务库、埋点日志、订单、CRM | ODS 明细表 | 主键、事件时间、分区和权限完整 |
| 身份关联 | 手机号、设备号、账号、会员号等 | One ID 映射表 | 一个用户一个主 ID,冲突有规则,合并可追溯 |
| 模型设计 | 明细数据、标签定义卡 | 画像表、标签元数据 | 粒度、主键、版本明确 |
| 标签计算 | 明细、口径、模型 | 标签分区表 | 可重跑,结果可复现 |
| 存储服务 | 标签表、映射表 | 查询接口、人群包 | 点查和圈选满足业务时限 |
| 质量监控 | 标签表、任务日志 | 监控规则、告警、质量报告 | 异常能发现、定位和回滚 |
这张图可以对应到实际系统。

图注:质量监控贯穿整条链路,它要把异常反馈到标签计算和上游数据,形成校验回补。
1. 数据接入前要确认的四件事
画像的输入通常分四类:
- 属性数据:注册资料、会员等级、设备、渠道、地域。变化慢,适合做基础分群。
- 行为数据:登录、浏览、点击、搜索、加购、支付、客服会话。数据量大,依赖埋点质量。
- 交易数据:订单、退款、订阅、客单价、复购。口径要和财务或业务系统对齐。
- 外部补充数据:广告平台受众、第三方标签、合作方数据。只作补充,先评估来源合法性和质量。
接入前确认四件事:
- 是否有稳定的业务主键,能和行为日志、订单关联。
- 是否同时保留事件发生时间和入库时间,迟到数据才能处理。
- 埋点版本、事件字典和字段含义是否可查,避免同名事件口径漂移。
- 数据权限、使用目的、保存期限和脱敏要求是否明确。
第一方数据优先。外部数据无法替代企业自己的行为、交易和会员数据,来源不清的标签也不要进入生产画像。
三、身份关联怎么做
身份关联要回答一个问题:不同渠道、不同设备上的两条记录,什么时候算同一个人。阿里云 ID Mapping 文档把常见 ID 分为四类:用户 ID、设备 ID、企业 ID 和第三方平台 ID。不同类型的 ID 能相互关联时,系统会把它们归到同一个用户,并分配唯一标识。文档中称为 QAID,本文用 One ID 指代这类统一标识。
One ID 的做法和边界,可以另看OneID库是什么。数据开发要落地的是映射表、冲突规则和合并流程。
1. ID 冲突和合并怎么处理
身份关联不能只做字符串匹配。手机号会更换,设备会共享,第三方账号可能一人多号,也可能一机多号。开发前要定义三件事:
- 哪些 ID 是单值,哪些可以多值。单值 ID 例如手机号,一个用户只保留一个;多值 ID 例如历史设备,可以保留多个。
- ID 的优先级。冲突时用高优先级 ID 判断是否同一用户。
- 合并策略。单值 ID 出现多个值时,保留最早、最新还是出现频率最高的值。
阿里云文档的例子很能说明问题。两个手机号关联同一个设备,手机号优先级更高时,会被判断为两个用户;同一个第三方账号关联两个手机号,也会因为手机号冲突被拆成两个用户。合并后,用户数和 ID 数可能随时间变化,历史人群包也要能继续使用。
因此,映射表至少要保留这些字段:
| 字段 | 用途 |
|---|---|
| one_id | 统一用户标识 |
| id_type | 手机号、设备号、会员号、第三方账号等 |
| id_value | 加密或哈希后的 ID 值 |
| source | 来源系统 |
| first_seen | 首次出现时间 |
| last_seen | 最近出现时间 |
| status | 有效、失效、已合并 |
| merged_to | 合并后的目标 one_id |
不要把手机号直接当 One ID。手机号会注销、换绑、被回收,直接当主键会把两个人的数据接在一起。One ID 用系统生成的稳定标识,手机号只作为关联字段。
2. 合并后为什么要保留历史映射
身份合并会改变用户数,也会改变标签归属。今天两个账号被合并,明天其中一个账号可能因为新证据被拆开。映射历史不保留,历史分群、触达记录和报表就无法解释。
建议保留三份记录:ID 映射的历史版本、合并操作日志、每次标签计算使用的映射版本。标签表和人群包都带上 mapping_version,排查时才能还原当时的口径。
四、用户画像数据模型怎么设计
画像数据模型要同时满足三件事:标签好算、结果好查、历史可回溯。常见做法是沿用数仓分层,在明细层之上建用户粒度的汇总层和画像服务层。
DataWorks 的用户画像案例把链路拆成原始用户信息表、访问日志原始表、日志明细表、用户访问信息宽表和用户画像数据表,分别落在 ODS、DWD、DWS 和 ADS 层。这个分层可以作为一种参考,具体表名和层数按团队规范调整。
- ODS 层保留原始数据,尽量贴近来源结构,做好分区和基础清洗。
- DWD 层统一事件名、时间、用户标识和字段类型,形成可分析的明细。
- DWS 层按用户、日期或主题汇总,沉淀活跃、消费、偏好等中间指标。
- ADS 层面向画像和圈选,输出标签表、宽表或服务表。
1. 宽表、纵表和 Bitmap 怎么选
| 方案 | 适合场景 | 优点 | 代价 |
|---|---|---|---|
| 用户宽表 | 标签较少,更新频率不高,查询以用户点查为主 | 一行一个用户,查询简单,便于导出 | 加列成本高,标签多时表很宽,历史快照占空间 |
| 标签纵表 | 标签多,新增频繁,标签由不同团队维护 | 扩展灵活,元数据好管理 | 查询要行转列或多次关联,圈选链路更复杂 |
| Bitmap | 大规模人群圈选,标签交集、并集计算多 | 去重和集合运算快,适合大基数用户 | 不适合直接展示全部属性,更新和维护成本较高 |
阿里云 Hologres 的用户画像分析文档提到,标签宽表适合标签数量较少、数据更新不频繁的场景;RoaringBitmap 方案适合数据量大、标签规模多、需要去重的场景。选择时先看查询模式,不要先选数据库。
火山引擎 CDP 的表模板把用户属性表处理为用户全量表,把行为表处理为每日增量表。属性和行为的更新节奏不同,建模时分开处理,后续补数和快照会简单一些。
2. 一个可落地的画像表结构
下面是一张按天分区的画像宽表示例,字段只保留常见项。实际项目按标签定义卡扩展。
<code class="language-sql">CREATE TABLE ads_user_profile_df ( one_id STRING COMMENT '统一用户标识', user_id STRING COMMENT '业务用户ID', is_new_user INT COMMENT '是否新用户,1是0否', last_active_dt STRING COMMENT '最近活跃日期', active_30d_days BIGINT COMMENT '近30天活跃天数', pay_30d_amt DECIMAL(18,2) COMMENT '近30天支付金额', lifecycle_stage STRING COMMENT '生命周期阶段', tag_version STRING COMMENT '标签版本', update_time TIMESTAMP COMMENT '更新时间' ) PARTITIONED BY (dt STRING COMMENT '数据日期'); </code>
这张表的主键是 one_id 加 dt。标签定义变化时,不要直接覆盖旧列的含义,新增 tag_version 或新标签编码,保留可对比的旧版本。
标签元数据单独存一张表,至少包含标签编码、名称、业务口径、来源、更新频率、负责人、状态和上线时间。标签元数据不完整,后面很难判断一个标签能不能下线。
五、标签计算怎么写
标签按生产方式大致分三类:
| 类型 | 例子 | 计算方式 | 注意事项 |
|---|---|---|---|
| 事实标签 | 注册渠道、首单日期、会员等级 | 直接取字段或简单转换 | 关注空值、枚举值和历史变更 |
| 统计标签 | 近 30 天活跃天数、近 90 天客单价 | 按时间窗口聚合 | 时间窗口、时区、去重口径要固定 |
| 预测标签 | 流失概率、购买意向 | 模型训练和打分 | 记录样本期、特征时点和模型版本,不把概率当事实 |
1. 离线标签的计算模板
离线标签通常按分区重算,这样同一天重跑能得到同样的结果。下面是一个近 30 天活跃标签的示例,实际事件名和日期函数按数仓环境调整。
<code class="language-sql">INSERT OVERWRITE TABLE ads_user_tag_active_30d PARTITION (dt = '${bizdate}')
SELECT
one_id,
COUNT(DISTINCT dt) AS active_days_30d,
CASE WHEN COUNT(DISTINCT dt) >= 1 THEN 1 ELSE 0 END AS is_active_30d
FROM dwd_user_event_di
WHERE dt BETWEEN date_sub('${bizdate}', 29) AND '${bizdate}'
AND event_name IN ('login', 'app_launch')
GROUP BY one_id;
</code>这段 SQL 有三个要点:时间范围包含当天,窗口固定为 30 天;按 one_id 去重,避免同一用户多设备重复计数;写入分区而不是追加,任务重跑不会产生重复数据。
生产任务还要处理依赖、重试和补数。上游分区未就绪时不要启动;失败重试要幂等;补数按日期区间逐日重跑,并记录补数批次。数据管道如何设计 SLA、幂等和监控,可以看数据开发实战:如何设计一个高效稳定的数据管道。
2. 实时标签什么时候值得做
实时标签适合动作依赖分钟级变化的场景,比如会话内推荐、实时风控、支付中断挽回。运营侧的活跃、付费、生命周期标签,按天更新通常够用。
实时链路要额外处理乱序、重复、状态过大和故障恢复。常见做法是按 one_id 维护状态,事件时间去重,结果写入支持幂等的存储;下游查询要能接受秒级到分钟级延迟。实时和离线同时产出同一个标签时,要明确以哪个为准,避免两个口径互相覆盖。
预测标签还要记录特征时点和模型版本。用未来数据训练、用当前特征回填历史,都会让离线评估看起来很好,上线后却失灵。
六、标签怎么更新、存储和服务
1. 全量重算还是增量更新
全量重算逻辑简单,结果一致,适合每日统计类标签;增量更新计算省,适合事件追加和实时标签,但要处理迟到数据、重复事件和状态合并。
实际项目常用混合方式:每日全量生成基线,小时级增量更新热点标签,实时链路只服务少数强时效场景。阿里云 Hologres 的画像分析文档提到,用一套链路承接实时和离线处理,可以减少数据不同步和数据孤岛的问题。
更新频率按标签性质区分:属性标签按月或按季度刷新;行为标签按天更新;生命周期状态可以做到准实时。所有标签都用同一频率,会浪费计算资源,也会让需要实时更新的标签被拖慢。
定义变更要版本化。口径调整、来源表切换、模型重训,都应生成新的 tag_version,保留旧版本一段时间,通知使用方后再下线。直接覆盖会让历史报表和人群包无法解释。
2. 标签服务要满足哪几类查询
| 查询类型 | 典型场景 | 常见存储 | 关注指标 |
|---|---|---|---|
| 单用户点查 | 客服查看用户画像、推荐取特征 | Redis、HBase、键值服务 | 延迟、可用性、批量读取能力 |
| 人群圈选 | 运营按标签组合圈人 | ClickHouse、Doris、Hologres、Bitmap | 组合条件响应时间、并发、结果一致性 |
| 明细回溯 | 分析标签为什么是这样 | 数仓、数据湖 | 历史分区、血缘、查询成本 |
| 批量导出 | 推送到营销或触达系统 | 对象存储、文件服务 | 导出权限、脱敏、任务审计 |
标签表是事实来源,服务层是加速层。不要把服务层当唯一存储,也不要把所有查询都压到数仓。点查、圈选和回溯分开设计,成本和体验都更可控。
人群圈选的结果要能回到具体用户,并且带上生成时间、标签版本和 mapping_version。运营用标签圈人后的动作和效果,属于用户分群和运营策略问题,可以看用户分群模式是什么。
七、标签质量怎么验收
标签质量要能回答三个问题:数据全不全,值对不对,更新及不及时。建议在标签上线前设定检查项,上线后持续监控。
1. 七类检查项和处置动作
| 检查项 | 看什么 | 异常时怎么做 |
|---|---|---|
| 完整性 | one_id 空值率、主键重复率、分区是否有数据 | 阻断下游任务,检查上游主键和分区 |
| 覆盖率 | 有值用户数除以目标用户数,和过去 7 日或 30 日基线比较 | 覆盖率骤降时检查埋点、任务和过滤条件 |
| 值域 | 枚举值是否越界,金额和次数是否出现负数或异常大值 | 回查明细,修正规则或隔离异常数据 |
| 分布 | 均值、分位数、各枚举占比、用户数是否突变 | 与业务确认是否有真实变化,排除口径漂移 |
| 一致性 | 同一用户在不同表、不同系统中的标签值是否一致 | 对齐时间窗口、映射版本和去重方式 |
| 时效性 | 分区产出时间、数据延迟、任务时限 | 延迟时通知使用方,必要时切换上一版本 |
| 准确性 | 抽样回查明细,计算标签命中准确率 | 按标签分别记录,定位规则或模型问题 |
阈值要有依据。可以先用过去 30 天的波动范围做基线,再和业务约定告警线。比如覆盖率较 7 日均值下降超过 20% 就告警,这类比例只是示例,具体数值要按标签和历史数据确定。
DataWorks 的用户画像案例把数据质量监控放在数据加工之后,用于提前识别脏数据并阻断向下游蔓延。这个思路可以借鉴:质量检查放在标签产出前,不要等业务发现人数不对再回查。
2. 上线后怎么持续监控
每天生成一份标签质量报告,列出任务状态、分区产出时间、覆盖率、空值率、分布变化和异常标签。报告要能下钻到具体分区和 SQL 任务,否则只能看到红灯,无法处理。
每个标签指定负责人。口径变更走评审,废弃标签及时下线,长期没人使用的标签进入观察名单。用户画像标签体系越大,维护成本越高,治理动作要跟上。
八、画像数据开发常见错误怎么排查
下面这些现象在画像项目里很常见,排查时先看口径和映射,再看计算和存储。
| 现象 | 常见原因 | 排查动作 |
|---|---|---|
| 用户数突然翻倍 | 分区重复、ID 合并异常、同一用户多条记录 | 检查 one_id 唯一性、分区是否重复写入、mapping_version 是否变化 |
| 标签覆盖率下降 | 上游埋点缺失、任务失败、过滤条件改动 | 对比源表行数、任务日志和近 7 日分区 |
| 标签值和业务理解不一致 | 时间窗口、时区、去重方式或排除条件不同 | 打开标签定义卡,抽样回查明细 |
| 同一个人出现两个标签值 | 主键不唯一、合并逻辑未生效、最新记录取值错误 | 检查画像表主键和取最新记录的排序字段 |
| 圈选响应很慢 | 全表扫描、关联过多、没有预聚合 | 减少圈选标签数,增加预聚合或 Bitmap |
| 不同报表人数不一致 | 映射版本、统计时间和去重口径不同 | 统一 mapping_version、时间范围和去重口径 |
| 任务每天延迟 | 全量重算过重、数据倾斜、资源不足 | 改为增量或混合更新,优化 SQL 和并发 |
排查顺序建议固定下来:先确认业务口径,再确认数据分区和映射版本,最后看 SQL 和存储。顺序反过来,容易在技术上绕很久,问题却出在口径。
九、工具和平台怎么选
画像数据开发可以自建,也可以用平台承接。判断标准放在任务上,不放在功能清单长度上。
自建适合这些情况:
- 数据规模、实时性或部署环境有特殊要求,通用平台难以满足。
- 团队有稳定的数仓、调度和存储工程能力,能长期维护。
- 画像与核心业务深度耦合,需要高度定制。
用平台承接适合这些情况:
- 希望尽快打通数据接入、标签生产、分群和运营使用。
- 不希望为标签计算、存储服务和权限体系重复造轮子。
- 需要私有化部署、权限审计和统一的数据口径管理。
选型时重点核实七项:数据源接入范围、One ID 能力、标签定义与版本管理、离线和实时计算、点查与圈选性能、质量监控、权限和部署方式。演示阶段用自己的一批真实数据跑通一条标签链路,比看功能列表更有用。
以 ThinkingAI 为例,平台侧提供用户标签、用户分群、事件分析、漏斗分析等能力,标签可以自动更新,也能保留过去的状态。世嘉《女神异闻录:夜幕魅影》的项目访谈提到,运营可以在看板上按标签筛选分群,并同时查看过去和当前的标签状态,用于跨时间点对比。对于已有数据基础、希望把标签生产和运营使用放在同一套环境里的团队,这类平台可以减少自建标签服务的工程量。是否适合,还要看数据接入范围、实时性要求和私有化条件。ThinkingAI 已服务全球超 1500 家企业,接入产品超 8000 款,这些能力可以在实际数据上验证。
如果团队希望用自然语言完成圈人和追问,可以了解数据分析 Agent;它承接的是查询和分析环节,标签口径和权限仍要由数据团队定义。
常见问题
用户画像数据开发和用户画像分析有什么区别?
数据开发负责生产标签表、映射关系和查询服务,交付物是可复用的数据资产;用户画像分析使用这些标签回答业务问题,交付物是结论、分群和策略。两者要共用同一套标签定义和 mapping_version,否则分析结论无法复现。
标签每天全量重算还是增量更新?
按标签性质决定。统计类标签常用每日全量或按分区重算,事件类标签可以增量更新,实时标签走流式链路。无论哪种方式,都要保证任务可重跑、迟到数据能补、结果能追溯。
一个用户有多个手机号怎么办?
先定义手机号是单值还是多值,再定优先级和合并策略。手机号通常按单值处理,设备号可以多值。冲突时按优先级判断是否同一用户,保留 ID 映射历史和合并日志,不直接覆盖旧记录。
实时标签一定要做吗?
只有业务动作依赖分钟级变化时才值得。实时风控、会话内推荐、支付中断挽回适合实时标签;日常运营的活跃、付费和生命周期标签,按天更新通常够用。实时链路会增加成本和一致性维护难度,先算清收益。
小团队怎么开始做用户画像数据开发?
先选一个明确决策,做 10 到 20 个标签,打通一条离线链路:数据接入、身份关联、标签表、质量检查和一个人群圈选出口。验证能被业务稳定使用后,再补实时标签和更多数据源。不要一开始建大而全的标签体系。
标签准确率怎么衡量?
按标签分别抽样回查明细,计算命中准确率和误判率;同时看覆盖率、空值率、分布稳定性和时效性。一个总分不能代替分标签的结果,预测标签还要记录模型版本和样本期。
参考资料
- 阿里云. ID Mapping 与用户唯一标识 QAID. https://help.aliyun.com/en/document_detail/432327.html。
- 阿里云. 用户属性管理. https://help.aliyun.com/document_detail/443644.html。
- 阿里云. 用户画像分析. https://help.aliyun.com/zh/hologres/use-cases/user-profile-analysis-1。
- 阿里云. 用户画像分析 MaxCompute 版. https://help.aliyun.com/zh/maxcompute/user-guide/user-profile-analysis-version-maxcompute-new-data-development/。
- 阿里云. 案例目标与设计. https://help.aliyun.com/zh/dataworks/user-guide/simple-user-profile-analysis/。
- 火山引擎. 表模板. https://docs.volcengine.com/docs/customer-data-platform-privatization/table-template?lang=zh。






