ThinkingAI Logo
返回博客列表

用户画像数据开发怎么做?

从业务问题、身份关联、画像模型到标签计算、更新服务与质量验收,拆解用户画像数据开发全流程,附数据表、SQL 示例和排查清单,帮助数据团队把画像做成可用的标签资产。

2026-11-1619分钟
用户画像数据开发怎么做?

用户画像数据开发,是把业务库、日志、订单和 CRM 里的用户信息,加工成一张张口径明确、能定时更新、可查询和可圈选的标签表。人物角色、用户故事属于业务表达,数据团队交付的是标签资产和标签服务。

只做单张报表,数据链路可以很短。要把画像长期用起来,数据开发还要依次解决五件事:数据从哪里来,同一个用户怎么认,标签怎么存和算,结果怎么更新和服务,最后怎么证明标签可信。下面按这个顺序拆解,并给出表结构、计算示例和验收清单。业务侧如何设计标签和运营分群,可以先看用户画像怎么做,本文聚焦数据工程。

一、先定业务问题,再列标签清单

画像项目常见的返工,来自标签清单先于业务问题。运营要召回哪一批人,产品要看哪一段转化,风控要拦哪类行为,不同问题需要的标签差别很大。先写清楚一个决策,再倒推标签,范围会小很多。

一个可用的起点是这句话:谁在什么时间,要用哪些标签,对哪批用户做什么动作,动作效果用什么指标验证。例如运营要在 7 天内召回近 30 天未活跃、历史付费较高的玩家,标签至少包括最近活跃日期、近 30 天付费金额、生命周期阶段和流失风险。没有对应动作的标签,可以先不建。

1. 一张标签定义卡要写清什么

标签定义卡是数据开发和业务使用之间的合同。字段可以按团队习惯调整,下面这些信息建议保留。

字段要写清的内容
标签名称与编码中文名用于展示,编码用稳定的英文小写和下划线,避免同名不同义
业务含义这个标签回答什么业务问题,不写技术过程
业务口径时间窗口、过滤条件、排除项、去重方式
数据来源来源表、事件名、字段、上游负责人
计算逻辑规则、公式、模型版本,必要时附 SQL 路径
粒度与主键一行代表什么,按用户、设备还是账号
更新频率每日、每小时、实时,最晚何时可用
负责人口径负责人、任务负责人、使用方联系人
验收标准覆盖率、空值率、准确性抽检和异常阈值
使用场景支撑哪些分群、报表或接口,方便判断能否下线

一张定义卡写不清时间窗口和去重方式,后面的 SQL 很容易出现两种解释。比如近 30 天活跃用户,是按自然日还是滚动 30 天,登录算不算活跃,同一用户多次登录怎么去重,都要在开发前定下来。

一个能被三个场景稳定使用的标签,比二十个没人维护的标签更有价值。标签数量不是成绩,能否支撑决策、能否持续维护,才是判断标准。

二、用户画像数据开发的完整链路

把画像数据开发拆开,通常会经过六段。每段的交付物和验收点不同,混在一起做,问题很难定位。

环节主要输入交付物验收点
数据接入业务库、埋点日志、订单、CRMODS 明细表主键、事件时间、分区和权限完整
身份关联手机号、设备号、账号、会员号等One ID 映射表一个用户一个主 ID,冲突有规则,合并可追溯
模型设计明细数据、标签定义卡画像表、标签元数据粒度、主键、版本明确
标签计算明细、口径、模型标签分区表可重跑,结果可复现
存储服务标签表、映射表查询接口、人群包点查和圈选满足业务时限
质量监控标签表、任务日志监控规则、告警、质量报告异常能发现、定位和回滚

这张图可以对应到实际系统。

用户画像数据开发五段链路:数据接入、身份关联、标签计算、标签服务、质量监控,质量监控通过校验回补回到标签计算

图注:质量监控贯穿整条链路,它要把异常反馈到标签计算和上游数据,形成校验回补。

1. 数据接入前要确认的四件事

画像的输入通常分四类:

  • 属性数据:注册资料、会员等级、设备、渠道、地域。变化慢,适合做基础分群。
  • 行为数据:登录、浏览、点击、搜索、加购、支付、客服会话。数据量大,依赖埋点质量。
  • 交易数据:订单、退款、订阅、客单价、复购。口径要和财务或业务系统对齐。
  • 外部补充数据:广告平台受众、第三方标签、合作方数据。只作补充,先评估来源合法性和质量。

接入前确认四件事:

  • 是否有稳定的业务主键,能和行为日志、订单关联。
  • 是否同时保留事件发生时间和入库时间,迟到数据才能处理。
  • 埋点版本、事件字典和字段含义是否可查,避免同名事件口径漂移。
  • 数据权限、使用目的、保存期限和脱敏要求是否明确。

第一方数据优先。外部数据无法替代企业自己的行为、交易和会员数据,来源不清的标签也不要进入生产画像。

三、身份关联怎么做

身份关联要回答一个问题:不同渠道、不同设备上的两条记录,什么时候算同一个人。阿里云 ID Mapping 文档把常见 ID 分为四类:用户 ID、设备 ID、企业 ID 和第三方平台 ID。不同类型的 ID 能相互关联时,系统会把它们归到同一个用户,并分配唯一标识。文档中称为 QAID,本文用 One ID 指代这类统一标识。

One ID 的做法和边界,可以另看OneID库是什么。数据开发要落地的是映射表、冲突规则和合并流程。

1. ID 冲突和合并怎么处理

身份关联不能只做字符串匹配。手机号会更换,设备会共享,第三方账号可能一人多号,也可能一机多号。开发前要定义三件事:

  • 哪些 ID 是单值,哪些可以多值。单值 ID 例如手机号,一个用户只保留一个;多值 ID 例如历史设备,可以保留多个。
  • ID 的优先级。冲突时用高优先级 ID 判断是否同一用户。
  • 合并策略。单值 ID 出现多个值时,保留最早、最新还是出现频率最高的值。

阿里云文档的例子很能说明问题。两个手机号关联同一个设备,手机号优先级更高时,会被判断为两个用户;同一个第三方账号关联两个手机号,也会因为手机号冲突被拆成两个用户。合并后,用户数和 ID 数可能随时间变化,历史人群包也要能继续使用。

因此,映射表至少要保留这些字段:

字段用途
one_id统一用户标识
id_type手机号、设备号、会员号、第三方账号等
id_value加密或哈希后的 ID 值
source来源系统
first_seen首次出现时间
last_seen最近出现时间
status有效、失效、已合并
merged_to合并后的目标 one_id

不要把手机号直接当 One ID。手机号会注销、换绑、被回收,直接当主键会把两个人的数据接在一起。One ID 用系统生成的稳定标识,手机号只作为关联字段。

2. 合并后为什么要保留历史映射

身份合并会改变用户数,也会改变标签归属。今天两个账号被合并,明天其中一个账号可能因为新证据被拆开。映射历史不保留,历史分群、触达记录和报表就无法解释。

建议保留三份记录:ID 映射的历史版本、合并操作日志、每次标签计算使用的映射版本。标签表和人群包都带上 mapping_version,排查时才能还原当时的口径。

四、用户画像数据模型怎么设计

画像数据模型要同时满足三件事:标签好算、结果好查、历史可回溯。常见做法是沿用数仓分层,在明细层之上建用户粒度的汇总层和画像服务层。

DataWorks 的用户画像案例把链路拆成原始用户信息表、访问日志原始表、日志明细表、用户访问信息宽表和用户画像数据表,分别落在 ODS、DWD、DWS 和 ADS 层。这个分层可以作为一种参考,具体表名和层数按团队规范调整。

  • ODS 层保留原始数据,尽量贴近来源结构,做好分区和基础清洗。
  • DWD 层统一事件名、时间、用户标识和字段类型,形成可分析的明细。
  • DWS 层按用户、日期或主题汇总,沉淀活跃、消费、偏好等中间指标。
  • ADS 层面向画像和圈选,输出标签表、宽表或服务表。

1. 宽表、纵表和 Bitmap 怎么选

方案适合场景优点代价
用户宽表标签较少,更新频率不高,查询以用户点查为主一行一个用户,查询简单,便于导出加列成本高,标签多时表很宽,历史快照占空间
标签纵表标签多,新增频繁,标签由不同团队维护扩展灵活,元数据好管理查询要行转列或多次关联,圈选链路更复杂
Bitmap大规模人群圈选,标签交集、并集计算多去重和集合运算快,适合大基数用户不适合直接展示全部属性,更新和维护成本较高

阿里云 Hologres 的用户画像分析文档提到,标签宽表适合标签数量较少、数据更新不频繁的场景;RoaringBitmap 方案适合数据量大、标签规模多、需要去重的场景。选择时先看查询模式,不要先选数据库。

火山引擎 CDP 的表模板把用户属性表处理为用户全量表,把行为表处理为每日增量表。属性和行为的更新节奏不同,建模时分开处理,后续补数和快照会简单一些。

2. 一个可落地的画像表结构

下面是一张按天分区的画像宽表示例,字段只保留常见项。实际项目按标签定义卡扩展。

<code class="language-sql">CREATE TABLE ads_user_profile_df (
  one_id           STRING    COMMENT '统一用户标识',
  user_id          STRING    COMMENT '业务用户ID',
  is_new_user      INT       COMMENT '是否新用户,1是0否',
  last_active_dt   STRING    COMMENT '最近活跃日期',
  active_30d_days  BIGINT    COMMENT '近30天活跃天数',
  pay_30d_amt      DECIMAL(18,2) COMMENT '近30天支付金额',
  lifecycle_stage  STRING    COMMENT '生命周期阶段',
  tag_version      STRING    COMMENT '标签版本',
  update_time      TIMESTAMP COMMENT '更新时间'
)
PARTITIONED BY (dt STRING COMMENT '数据日期');

</code>

这张表的主键是 one_id 加 dt。标签定义变化时,不要直接覆盖旧列的含义,新增 tag_version 或新标签编码,保留可对比的旧版本。

标签元数据单独存一张表,至少包含标签编码、名称、业务口径、来源、更新频率、负责人、状态和上线时间。标签元数据不完整,后面很难判断一个标签能不能下线。

五、标签计算怎么写

标签按生产方式大致分三类:

类型例子计算方式注意事项
事实标签注册渠道、首单日期、会员等级直接取字段或简单转换关注空值、枚举值和历史变更
统计标签近 30 天活跃天数、近 90 天客单价按时间窗口聚合时间窗口、时区、去重口径要固定
预测标签流失概率、购买意向模型训练和打分记录样本期、特征时点和模型版本,不把概率当事实

1. 离线标签的计算模板

离线标签通常按分区重算,这样同一天重跑能得到同样的结果。下面是一个近 30 天活跃标签的示例,实际事件名和日期函数按数仓环境调整。

<code class="language-sql">INSERT OVERWRITE TABLE ads_user_tag_active_30d PARTITION (dt = '${bizdate}')
SELECT
  one_id,
  COUNT(DISTINCT dt) AS active_days_30d,
  CASE WHEN COUNT(DISTINCT dt) >= 1 THEN 1 ELSE 0 END AS is_active_30d
FROM dwd_user_event_di
WHERE dt BETWEEN date_sub('${bizdate}', 29) AND '${bizdate}'
  AND event_name IN ('login', 'app_launch')
GROUP BY one_id;

</code>

这段 SQL 有三个要点:时间范围包含当天,窗口固定为 30 天;按 one_id 去重,避免同一用户多设备重复计数;写入分区而不是追加,任务重跑不会产生重复数据。

生产任务还要处理依赖、重试和补数。上游分区未就绪时不要启动;失败重试要幂等;补数按日期区间逐日重跑,并记录补数批次。数据管道如何设计 SLA、幂等和监控,可以看数据开发实战:如何设计一个高效稳定的数据管道。

2. 实时标签什么时候值得做

实时标签适合动作依赖分钟级变化的场景,比如会话内推荐、实时风控、支付中断挽回。运营侧的活跃、付费、生命周期标签,按天更新通常够用。

实时链路要额外处理乱序、重复、状态过大和故障恢复。常见做法是按 one_id 维护状态,事件时间去重,结果写入支持幂等的存储;下游查询要能接受秒级到分钟级延迟。实时和离线同时产出同一个标签时,要明确以哪个为准,避免两个口径互相覆盖。

预测标签还要记录特征时点和模型版本。用未来数据训练、用当前特征回填历史,都会让离线评估看起来很好,上线后却失灵。

六、标签怎么更新、存储和服务

1. 全量重算还是增量更新

全量重算逻辑简单,结果一致,适合每日统计类标签;增量更新计算省,适合事件追加和实时标签,但要处理迟到数据、重复事件和状态合并。

实际项目常用混合方式:每日全量生成基线,小时级增量更新热点标签,实时链路只服务少数强时效场景。阿里云 Hologres 的画像分析文档提到,用一套链路承接实时和离线处理,可以减少数据不同步和数据孤岛的问题。

更新频率按标签性质区分:属性标签按月或按季度刷新;行为标签按天更新;生命周期状态可以做到准实时。所有标签都用同一频率,会浪费计算资源,也会让需要实时更新的标签被拖慢。

定义变更要版本化。口径调整、来源表切换、模型重训,都应生成新的 tag_version,保留旧版本一段时间,通知使用方后再下线。直接覆盖会让历史报表和人群包无法解释。

2. 标签服务要满足哪几类查询

查询类型典型场景常见存储关注指标
单用户点查客服查看用户画像、推荐取特征Redis、HBase、键值服务延迟、可用性、批量读取能力
人群圈选运营按标签组合圈人ClickHouse、Doris、Hologres、Bitmap组合条件响应时间、并发、结果一致性
明细回溯分析标签为什么是这样数仓、数据湖历史分区、血缘、查询成本
批量导出推送到营销或触达系统对象存储、文件服务导出权限、脱敏、任务审计

标签表是事实来源,服务层是加速层。不要把服务层当唯一存储,也不要把所有查询都压到数仓。点查、圈选和回溯分开设计,成本和体验都更可控。

人群圈选的结果要能回到具体用户,并且带上生成时间、标签版本和 mapping_version。运营用标签圈人后的动作和效果,属于用户分群和运营策略问题,可以看用户分群模式是什么。

七、标签质量怎么验收

标签质量要能回答三个问题:数据全不全,值对不对,更新及不及时。建议在标签上线前设定检查项,上线后持续监控。

1. 七类检查项和处置动作

检查项看什么异常时怎么做
完整性one_id 空值率、主键重复率、分区是否有数据阻断下游任务,检查上游主键和分区
覆盖率有值用户数除以目标用户数,和过去 7 日或 30 日基线比较覆盖率骤降时检查埋点、任务和过滤条件
值域枚举值是否越界,金额和次数是否出现负数或异常大值回查明细,修正规则或隔离异常数据
分布均值、分位数、各枚举占比、用户数是否突变与业务确认是否有真实变化,排除口径漂移
一致性同一用户在不同表、不同系统中的标签值是否一致对齐时间窗口、映射版本和去重方式
时效性分区产出时间、数据延迟、任务时限延迟时通知使用方,必要时切换上一版本
准确性抽样回查明细,计算标签命中准确率按标签分别记录,定位规则或模型问题

阈值要有依据。可以先用过去 30 天的波动范围做基线,再和业务约定告警线。比如覆盖率较 7 日均值下降超过 20% 就告警,这类比例只是示例,具体数值要按标签和历史数据确定。

DataWorks 的用户画像案例把数据质量监控放在数据加工之后,用于提前识别脏数据并阻断向下游蔓延。这个思路可以借鉴:质量检查放在标签产出前,不要等业务发现人数不对再回查。

2. 上线后怎么持续监控

每天生成一份标签质量报告,列出任务状态、分区产出时间、覆盖率、空值率、分布变化和异常标签。报告要能下钻到具体分区和 SQL 任务,否则只能看到红灯,无法处理。

每个标签指定负责人。口径变更走评审,废弃标签及时下线,长期没人使用的标签进入观察名单。用户画像标签体系越大,维护成本越高,治理动作要跟上。

八、画像数据开发常见错误怎么排查

下面这些现象在画像项目里很常见,排查时先看口径和映射,再看计算和存储。

现象常见原因排查动作
用户数突然翻倍分区重复、ID 合并异常、同一用户多条记录检查 one_id 唯一性、分区是否重复写入、mapping_version 是否变化
标签覆盖率下降上游埋点缺失、任务失败、过滤条件改动对比源表行数、任务日志和近 7 日分区
标签值和业务理解不一致时间窗口、时区、去重方式或排除条件不同打开标签定义卡,抽样回查明细
同一个人出现两个标签值主键不唯一、合并逻辑未生效、最新记录取值错误检查画像表主键和取最新记录的排序字段
圈选响应很慢全表扫描、关联过多、没有预聚合减少圈选标签数,增加预聚合或 Bitmap
不同报表人数不一致映射版本、统计时间和去重口径不同统一 mapping_version、时间范围和去重口径
任务每天延迟全量重算过重、数据倾斜、资源不足改为增量或混合更新,优化 SQL 和并发

排查顺序建议固定下来:先确认业务口径,再确认数据分区和映射版本,最后看 SQL 和存储。顺序反过来,容易在技术上绕很久,问题却出在口径。

九、工具和平台怎么选

画像数据开发可以自建,也可以用平台承接。判断标准放在任务上,不放在功能清单长度上。

自建适合这些情况:

  • 数据规模、实时性或部署环境有特殊要求,通用平台难以满足。
  • 团队有稳定的数仓、调度和存储工程能力,能长期维护。
  • 画像与核心业务深度耦合,需要高度定制。

用平台承接适合这些情况:

  • 希望尽快打通数据接入、标签生产、分群和运营使用。
  • 不希望为标签计算、存储服务和权限体系重复造轮子。
  • 需要私有化部署、权限审计和统一的数据口径管理。

选型时重点核实七项:数据源接入范围、One ID 能力、标签定义与版本管理、离线和实时计算、点查与圈选性能、质量监控、权限和部署方式。演示阶段用自己的一批真实数据跑通一条标签链路,比看功能列表更有用。

以 ThinkingAI 为例,平台侧提供用户标签、用户分群、事件分析、漏斗分析等能力,标签可以自动更新,也能保留过去的状态。世嘉《女神异闻录:夜幕魅影》的项目访谈提到,运营可以在看板上按标签筛选分群,并同时查看过去和当前的标签状态,用于跨时间点对比。对于已有数据基础、希望把标签生产和运营使用放在同一套环境里的团队,这类平台可以减少自建标签服务的工程量。是否适合,还要看数据接入范围、实时性要求和私有化条件。ThinkingAI 已服务全球超 1500 家企业,接入产品超 8000 款,这些能力可以在实际数据上验证。

如果团队希望用自然语言完成圈人和追问,可以了解数据分析 Agent;它承接的是查询和分析环节,标签口径和权限仍要由数据团队定义。

常见问题

用户画像数据开发和用户画像分析有什么区别?

数据开发负责生产标签表、映射关系和查询服务,交付物是可复用的数据资产;用户画像分析使用这些标签回答业务问题,交付物是结论、分群和策略。两者要共用同一套标签定义和 mapping_version,否则分析结论无法复现。

标签每天全量重算还是增量更新?

按标签性质决定。统计类标签常用每日全量或按分区重算,事件类标签可以增量更新,实时标签走流式链路。无论哪种方式,都要保证任务可重跑、迟到数据能补、结果能追溯。

一个用户有多个手机号怎么办?

先定义手机号是单值还是多值,再定优先级和合并策略。手机号通常按单值处理,设备号可以多值。冲突时按优先级判断是否同一用户,保留 ID 映射历史和合并日志,不直接覆盖旧记录。

实时标签一定要做吗?

只有业务动作依赖分钟级变化时才值得。实时风控、会话内推荐、支付中断挽回适合实时标签;日常运营的活跃、付费和生命周期标签,按天更新通常够用。实时链路会增加成本和一致性维护难度,先算清收益。

小团队怎么开始做用户画像数据开发?

先选一个明确决策,做 10 到 20 个标签,打通一条离线链路:数据接入、身份关联、标签表、质量检查和一个人群圈选出口。验证能被业务稳定使用后,再补实时标签和更多数据源。不要一开始建大而全的标签体系。

标签准确率怎么衡量?

按标签分别抽样回查明细,计算命中准确率和误判率;同时看覆盖率、空值率、分布稳定性和时效性。一个总分不能代替分标签的结果,预测标签还要记录模型版本和样本期。

参考资料

准备好构建你的 Agent 团队了吗

立即体验 Agentic Engine, 让 AI 成为真正的团队成员

ThinkingAI Big Logo
电话咨询