规则圈选中所使用的画像标签数据是离线计算出来的,大部分在计算过程中剔除了很多明细信息,仅保留了最关键的画像内容,即某日某用户的标签值。...虽然画像数据是浓缩精简后的核心数据,但在很多人群圈选场景中依赖行为明细数据,比如运营人员希望找出2022-08-15 10:00:00到2022-08-15 12:00:00之间通过手机客户端点赞了某篇文章的用户...第一种使用Hive表导入,首先需要找到离线行为明细数据,然后将数据整理后写入到ClickHouse中;第二种直接消费实时行为数据并写入ClickHouse中,其圈选结果也更具时效性。...行为明细数据包含时间属性,可以计算出每一个用户按时间排序后的行为序列,基于该序列可以实现行为序列圈选。比如圈选出点赞文章后又分享文章的用户,找到收藏商品后最终购买了商品的用户。...在行为明细圈选时可以结合画像标签数据一起使用,比如找到在某时间段通过手机客户端点赞了某篇文章的北京市男性用户,可以直接关联画像宽表进行计算。
同时,通过规则客群的圈选能力实力客群的精细划分。用户数据分析:基于丰富的用户标签数据,CDP 平台提供用户画像洞察功能,支持实时效果评估和营销漏斗分析。...数据服务层则包括用户数据服务、客群圈选、营销策略、实时事件、 AB 实验和实时效果分析回收在内的全方位数据服务,满足各业务场景的数据需求。...随后,利用 Spark 作业将 DWS 层数据抽取到 Impala 中,进行离线的标签计算和客群的圈选。...客群圈选在架构 1.0 中,客群服务先生成动态 SQL,然后将其传输到 Impala 中进行客群圈选。完成圈选后,结果集需被重新读取回客群服务,并由其上传到对象存储中。...未来,我们计划在 3.0 版本中,实现离线标签和实时标签的混合圈选功能,并依托 Doris 进行 OneID 实时计算。
**传统CRM系统只能提供基础的会员360视图**,无法预测高潜力客户;**营销活动依赖人工圈选**,导致85%的优惠券被低价值客户领取;**门店导购与总部数据脱节**,企微渠道触达率长期徘徊在30%左右...更为关键的是,腾讯云为欣贺量身定制了**业务友好的营销建模平台**,让非技术背景的业务人员也能完成高意向复购人群预测、潜在流失人群预警等7类场景建模。...**高意愿人群的优惠券核销率比低意愿人群高出50%以上**,直接验证了算法圈选的精准度。这种效率提升背后是真金白银的回报。...腾讯云的营销建模平台通过"业务特征加工语言模型",将复杂的算法逻辑转化为业务语言,让区域运营人员也能自主完成人群预测。这种能力下沉产生了连锁反应。...**一位区域经理反馈**,以往需要3天准备的营销活动,现在2小时内就能完成人群圈选、策略配置和导购赋能全流程,让团队能更敏捷地响应节日营销机会。
通过画像平台人群圈选功能可以找到应用中好友数目较多且与好友互动较为频繁的用户群体,实验证明通过引导该群体主动分享可以带来不错的拉新效果。...有了画像标签之后,可以借助画像分析功能深入地了解人群特点,通过分布分析了解人群的性别、年龄和地域分布;通过人群间对比分析可以找到每个人群的突出特点。...借助画像平台分群功能可以圈选出待推送的用户群体,比如在热点推送中可以向不同地域的用户群体推送不同的热点事件,向不同消费等级的用户推送不同的优惠活动等。...通过画像平台可以圈选出满足条件的流失用户人群,然后借助ID转换功能可以将人群中的UserId转换为手机号或者Email,最后将人群数据同步到短信和邮件触达平台后便可以实现推送。...通过画像平台可以圈选出已经流失的用户并且借助ID转换功能将其转化为IMEI/OAID人群,在广告投放时上传人群并严格按照人群用户范围进行定向投放。
用户召回:对于生命周期处于预流失、已流失等阶段的用户,进行短信推送、App Push等,通过红包激励手段,召回流失用户 精准分流:产品功能迭代AB或营销活动投放,基于用户地域、性别等标签属性,进行流量的精准分层运营...标签口径不一致:用户画像、精准营销平台人群圈选、算法特征都会涉及到用户或商品标签,各个系统存在标签同义不同值、同值不同义的问题,导致标签复用度低、重复建设带来的成名和资源浪费,这也是中台要重点解决的问题...业务运营靠经验:一般精准营销平台强调基于标签圈人的能力,什么样的用户适合推什么样的产品,提供什么样的服务,靠运营同学人工操作,基于经验或数据分析,确定特定场景下的人群标签条件,圈选后进行后续营销动作。...1.4 产品目标 (1)提供数据源接入及管理功能,将数据开发线下对接开发流程线上化、自动化 (2)建立完善的用户、商品标签体系,提供人群圈选、场景配置能力,标签生产流程配置化,业务自助配置取代数据开发、...提供基于标签圈人的能力,精准圈定目标人群进行分析或数据输出 功能要点:人群列表,新增人群流程(圈选、excel等自定义上传、SQL语句)、人群画像、人群输出(接口或场景配置) (4)场景管理 目标:对接营销
根据新用户归因结果构建“用户来源”标签,使用该标签可以进行人群圈选和画像分析。构建新用户渠道分析看板,支持按时间范围查看各渠道新增用户量变化趋势,支持查看不同渠道新增用户的画像分布。...该标签数据可以通过标签管理功能注册到画像平台并设置其支持规则圈选和画像分析功能。...为了满足灵活的人群圈选需求,在画像平台需要新增“距今最近一次活跃天数”标签,该标签属于离线统计类标签,其标签数值表达了用户最近一次活跃距离当前的天数。...画像平台数据研发工程师可以根据用户每日活跃明细数据统计生产出该标签,标签生产完成后注册到画像平台并配置其支持人群圈选功能。...该标签支持按数值范围筛选用户,比如筛选出距今最近一次活跃天数在15天到30天内的用户;人群圈选过程中还可以结合其他标签进行精细化筛选,比如找出指定地域、年龄段下最近未活跃的用户。
圈选对军事感兴趣的人群并用于Push应用背景:运营人员每天会整理当前俄乌冲突热门事件并通过Push推送给对军事感兴趣的用户,刚开始主要通过手动的方式在画像平台创建人群,然后导入到Push平台进行推送。...应用方式:调研人员通过画像平台LBS人群圈选功能找到了几所高校附近出现过的用户,并结合用户年龄段等标签提高了用户圈选的精确度。生成人群之后,私信平台可以通过接口拉取人群数据并进行私信推送。...以此类推,针对特定场合如医院、公园、电影院、旅游景点都可以进行精细化的人群圈选。3....基于组合人群赠送优惠券应用背景:三八妇女节当天电商平台会给女性用户赠送商品优惠券,主要通过画像平台的规则圈选找出所有女性用户并构建人群,当用户位于人群中时则赠送优惠券。...应用方式:在画像平台上通过规则圈选创建女性用户人群A,通过文件导入的方式创建黑产用户人群B,通过组合人群的方式创建人群A与B的差集人群C。
商品服务、营销服务、用户服务3.2业务闭环设计完整的会员画像体系形成以下闭环:用户在平台和商家店铺产生行为;系统采集浏览、收藏、加购、下单、支付、售后等事件;按规则生成用户标签和会员画像;运营通过标签组合圈选目标人群...商家层负责:店铺内用户行为标签;店铺品类偏好标签;店铺复购标签;商家自定义权益规则;店铺级人群圈选与营销。四、标签体系设计标签是会员画像的基础。标签体系不能一开始追求大而全,而应围绕业务价值分层建设。...九、人群圈选与运营闭环9.1人群圈选能力会员画像体系不能只有标签,还要支持运营圈人。...圈选结果可直接用于:定向发券;活动报名;会员营销;人群分析;策略测试。9.2效果评估闭环每个策略上线后,都要评估效果。...十一、业务价值与效果评估11.1运营效率提升指标改造前改造后人群圈选人工统计,周期长标签组合,秒级出人群权益配置硬编码或人工发券规则配置,自动发放策略迭代依赖发版后台配置即可上线运营分析数据分散标签、权益
整体来看,平台支持灵活的标签及人群创建方式,使用者按照自己的想法任意圈选出想要的人群,按不同周期手动或自动选出人群包。此外也支持人群的跟踪分析,人群在多场景的应用等。...画像应用:提供基础标签分析及针对特定人群的标签分析,另外还提供人群圈选跟踪分析及线上应用等。...支持灵活的标签及人群创建方式,让客户能按照自己的想法任意圈选出想要的人群,按不同周期手动或自动选出人群包,支持人群的跟踪分析、人群在多场景的应用能力。...属性标签数据通常建设用户画像的核心工作就是给用户打标签,标签是人为规定的高度精炼的特征标识,如性别、年龄、地域、兴趣,也可以是用户的一些行为集合。...4.4 人群跟踪应用 4.4.1 人群跟踪分析 在按照用户规则圈选出人群后,统一对人群进行常用指标(如活跃、交易等指标)的跟踪。
画像数据存储引擎是为了提高人群圈选速度,直接基于底层大数据原始表做人群圈选性能较差,需要借助画像数据存储引擎提高人群生产效率。...本节提到的技术选型主要偏重存储层涉及的画像引擎及画像分析相关技术方案,对应到功能层面上的人群圈选和画像分析功能。 阿里达摩盘是阿里妈妈广告投放平台,该平台可以进行人群圈选并应用于后续广告投放环节。...美团和滴滴的实现方案比较相似,在人群圈选中主要使用的是Elasticsearch和Spark引擎,Elasticsearch可以快速找到筛选逻辑比较简单的人群,当涉及复杂的圈选逻辑时可以降级为Spark...百度内部用户画像相关圈选和分析基本都是基于Doris实现的。知乎的画像圈选也借助了Doris,并把Spark作为一些特殊业务场景下人群圈选的计算引擎。...最近几年ClickHouse比较流行,今日头条DMP以及CDP均通过ClickHouse实现了人群圈选,借助ClickHouse的BitMap实现了人群圈选的提速;快手DMP在人群圈选场景下也借助ClickHouse
明确了人群需求后,数据的流程主要包括: 数据源准备: 圈选目标人群所需要的标签数据从哪里来?...火车票订单、酒店订单、红包卡券数据 标签生产: 按照场景人群逻辑,清洗加工标签 人群圈选: 以标签为限定条件,从全量用户中过滤圈选出目标人群 用户触达: 将用户数据传输到营销通道,对用户进行触达 效果评估...: 回收效果数据,持续优化人群圈选条件 3.2 CDP产品架构 CDP(CustomerDataPlatform)是基于用户实时数据标签,精准圈选目标用户并快速输出数据服务的数据产品,充分融合了低代码...标签列表 标签生产 (3)场景管理 运营场景的构建是将业务运营动作拆解成数据标签、人群圈选需求,基于标签和判断条件,将用户划分成一个个精细化的人群包,不同人群承接差异化的运营策略。...(4)人群画像 不同人群的用户画像构成是怎么样的,不同特征的用户,对运营转化的效果是否相同呢?人群画像的应用价值一是人群圈选过程中确定是否满足运营需求,二是事后效果分析时,不同特征用户进行对比分析。
1、人群创建 人群创建即找到满足条件的用户并构建人群,根据圈选方式的不同可以分为规则、导入、组合、行为明细圈选等多种方式。...基于规则圈选创建人群:画像平台底层存在大量的画像标签,可以直接基于标签间的交、并、差操作进行人群圈选,比如圈选出常住省是北京且性别为男性的用户;最近一个月送礼次数超过5次且爱好军事的用户;常住省是天津或者上海...规则人群圈选是一种最常见、简单且易理解的人群圈选方式,图2-6展示了规则人群圈选的功能示意图,可以基于已有属性和用户行为数据进行人群创建。...基于行为明细的人群圈选:行为圈选是基于用户的行为明细数据进行圈选,其数据粒度较细且与时间紧密相关,基于这一特点,可以实现行为次数统计和行为序列圈选。...上面是几种常见的人群圈选方式,但是不同场景下对于人群圈选方式的要求不同,下面再介绍两种特殊场景下的人群圈选方式。 人群LookALike:人群LookALike是借助算法能力实现人群的放大与缩小。
规则圈选是按照指定条件从画像数据中找到满足要求的用户并沉淀为人群的一种常见的人群创建方式。所谓的规则就是条件的组合,比如北京市男性用户,最近一周平均在线时长介于2到10分钟之间的中老年用户。...人群创建引擎读取到规则人群配置信息后,首先判断是否适合通过BitMap实现人群圈选,如果适合,可以获取标签的BitMap在内存中进行交、并、差操作;不适合BitMap实现的可以兜底通过ClickHouse...画像宽表进行人群筛选,其实现逻辑是将人群圈选条件转变为SQL语句,借助ClickHouse引擎查询出所有满足条件的UserId并构建人群;当ClickHouse执行异常时会再次兜底从Hive表中筛选用户...,同理,人群圈选条件最终转换为Hive SQL语句并最终将执行结果构建为人群。...基于BitMap进行人群圈选主要分为两步,第一步是从ClickHouse中读取标签BitMap,第二步是在内存中进行BitMap的交并差运算,其实现语句如下所示。
使用场景:电商大促实时 GMV 看板、广告 DMP 人群圈选、游戏运营日志分析。...使用场景:互联网广告归因、IoT 时序聚合、跨地域多活。 实时 OLAP:DTS 一键同步 Binlog,写入延迟 <5 秒,秒级扩缩容。
基于这种单表结构,可以很容易筛选出满足条件的用户,比如找到所有常住省为山东的男性用户;人群分析功能可以基于表中的指定标签列进行聚合操作来实现,比如统计所有省份的用户分布情况。...这一特点决定了该模型不支持精细化的基于行为数据的画像圈选和分析,比如圈选出1号到4号点赞过某视频的用户。...但很多场景并不关注与时间相关的明细行为数据,比如DMP平台中人群圈选大部分都是使用离线标签,用户模型比较符合此类场景。 为什么要把标签数据汇总到一张宽表中?...基于用户-行为模型,可以结合用户属性类标签和行为标签实现更加复杂的人群圈选和分析功能,比如圈选出3月1日到3月24日之间,平均在线时长超过1000秒的河南省男性用户;针对给定人群,分析其从3月15日到3...基于行为明细数据可以实现更加细致的人群圈选和分析功能,比如圈选出3月1日到3月7日,中午12:00到14:00之间,使用Android系统进行登录的河南省女性用户;筛选出3月24日登录2小时之内发生了点赞行为的用户
二、 腾讯大数据助力线索洞察与挖掘 (核心引擎力量) 丰富的用户画像洞察: 结合一方数据与腾讯二方数据(人口属性、地域分布、应用偏好、兴趣偏好、商圈到访、行业/品牌偏好等),提供多维度、多层次的用户画像标签体系...精准人群筛选 (营销云 PA): 利用腾讯一方人群包叠加腾讯大数据标签(消费等级、应用偏好、职业行业等),圈选精准人群用于营销触达或广告投放。...公域流量承接: 支持从公域电商平台精准筛选引流目标人群至私域(如企微)。...精准人群投放 (结合RTA): 基于CDP人群包叠加腾讯大数据标签生成种子包,推送至广告平台进行放大投放,并进行多平台ID打通和效果归因优化。...关键能力: 圈人: 基于CDP标签和规则动态圈选目标人群。 策略: 配置单触点群发任务或复杂的自动化营销旅程(画布)。 触达: 支持企微、公众号、短信等多种渠道触点管理。
3、业务实现 在搭建了人群圈选引擎之后,我们重点改造了我们的消息推送系统,作为人群精细化运营的一个重要落地点。 3.1 闲鱼消息推送简介 消息推送(PUSH)是信息触达用户最快捷的手段。...实时计算层:根据人群的筛选条件,从用户大宽表中,查询符合的用户数量和用户ID列表,为应用系统提供服务。 人群圈选前台系统:提供可视化的操作界面。...闲鱼PUSH系统:从人群圈选前台系统中获取人群对应的where条件,再从实时计算层,分页获取用户列表,给用户发送PUSH。在实现过程中,我们重点解决了分页查询的性能问题。...人群圈选系统为闲鱼精细化用户运营提供了强有力的底层能力支撑。同时,圈选人群,也可以应用到其他的业务场景,比如首页焦点图定投等需要分层用户运营的场景,为闲鱼业务提供了很大的优化空间。...5、未来 人群圈选引擎中的用户数据,我们目前是T+1导入的。这是考虑到人群相关的指标,变化频率不是很快,且很多指标(比如用户标签)都是离线T+1计算的,因此T+1的数据更新频度是可以接受的。
在构建企业数字化增长底座的过程中,架构师和开发团队经常要面对运营端源源不断的人群筛选与分析需求。...伴随而来的,是数据底座侧面临的几大卡点:运营频繁调整分析的时间区间,导致底层不断重复计算并落盘大量不同时间跨度的静态人群包,计算开销巨大;多个人群集合之间的复杂关系运算(交集、并集、排除等)缺乏标准计算链路...一、 动态规则引擎:自适应时间窗口匹配对于频繁变动分析时间区段的问题,直接将人群规则与绝对物理时间进行解耦是关键。...三、 画像引擎与 TGI 特征计算用户特征画像之所以常被视为数据花瓶,是因为常规的静态分布(如性别分布、地域占比)无法反映出该客群相较于大盘的核心特征差异。...四、 模板复用与资产沉淀:三步走构建法构建这一套人群分析引擎的最终目的,是使“从数据圈选到策略沉淀”形成可复用的标准化框架。
产品需求是基于这张宽表可以实现人群圈选功能:用户通过可视化的页面选择标签并配置筛选条件,系统可以快速找到满足条件的用户并生成人群。...ClickHouse作为缓存随着人群创建数目的增加,完全基于Hive表圈选人群的问题逐渐暴露出来:当人群集中创建时其产出效率较低。...ClickHouse主要应用在OLAP场景下,工程上考虑将作为Hive表的“缓存”来加速人群圈选的速度。人群圈选的初衷是找到所有满足条件的用户,可以把用户筛选语句直接交由ClickHouse引擎执行。...如图9-7所示,人群圈选功能的实现已经从单纯的Hive查询转变为ClickHouse查询优先、失败后Hive兜底的方式,人群圈选速度提升明显,人群产出时间从几十分钟降低到几分钟。...图9-8展示了基于BitMap进行人群圈选的实现逻辑。本文节选自《用户画像:平台构建与业务实践》,转载请注明出处。
本节主要介绍人群创建所依赖的画像宽表的生成方式。为什么要创建画像宽表?基于原始的标签数据表进行人群圈选有什么问题?如何生成画像宽表?针对这些问题本节会给出详细解答。...当用户圈选需求涉及任意N天的用户行为时,只能通过存储历史标签数据来解决。 支持跨时间的人群分析。...如果画像平台用户对于人群圈选的速度没有要求,直接基于Hive表进行计算是可行的。...但是有些业务对人群圈选速度有比较高的要求,比如热点运营团队,当热点事件出现之后,需要能够以最快的速度找到目标用户并推送Push消息,此时直接从Hive表中圈选用户便不再满足业务需求。...ClickHouse也比较擅长做宽表分析,基于这一特点可以把其作为Hive表的“缓存”使用,从而满足人群圈选和人群分析的提速。