,格式为用户编号:相同阅读量,相似用户之间以逗号分隔 sim_num BIGINT 相似人群的人数 update_date string 数据日期 2、基础用户画像存在MongoDB中 Image [ 2].png 字段 含义 _id 用户id profile(离线)positive(实时) 用户正画像(喜欢),每个维度以分号间隔,每个子维度以逗号间隔,值格式为key_id:weight,维度含义依次为一级分类 、二级分类、关键字、topic、阅读来源 negative 负画像(不喜欢),其他字段的含义与正画像一样 update_time 更新时间 cityCode或city 城市编码 3、相似人群画像也存在 ,此画像中没有相似人群 for x in xrange(0, int(math.ceil(len(all_uid) / float(batch_num)))): : 相似人群的相似度字典表 :return: 相似人群画像字典表 """ cluster_profile_rs = {} for sim_user_obj in sim_users_profile_array
规则圈选是按照指定条件从画像数据中找到满足要求的用户并沉淀为人群的一种常见的人群创建方式。所谓的规则就是条件的组合,比如北京市男性用户,最近一周平均在线时长介于2到10分钟之间的中老年用户。 规则圈选的实现依赖画像宽表数据或者BitMap数据,其实现逻辑如图5-12所示。 画像宽表进行人群筛选,其实现逻辑是将人群圈选条件转变为SQL语句,借助ClickHouse引擎查询出所有满足条件的UserId并构建人群;当ClickHouse执行异常时会再次兜底从Hive表中筛选用户 每一个人群最终都会存储在Hive表和OSS中,但是不同人群创建方式优先产出的人群存储类型不同,所以画像平台需要支持Hive和OSS之间数据的相互转换。 ----本文节选自《用户画像:平台构建与业务实践》,转载请注明出处。
导入人群是将外部数据导入画像平台构建人群,主要有3种实现方式:文件导入、Hive表导入和SQL导入。 文件导入是将TXT、CSV等格式的文件导入画像平台;Hive表导入是指定源Hive表及导入字段,将满足条件的源表数据导入画像平台;SQL导入是Hive表导入的延伸,用户可以自由编写SQL语句,其运行结果最终导入画像平台 导入人群是画像平台最常用的人群创建方式之一,其实现了将各类数据源沉淀为人群的功能,支持更灵活的人群创建方式,拓展了画像平台数据范围。 比如运营人员将某次活动中表现良好的用户导入画像平台并构建成人群,后续可以进行广告投放或者人群分析;数据分析师离线统计出了一批高价值用户,导入平台构建人群后可以直接提供给业务使用。 ---- 本文节选自《用户画像:平台构建与业务实践》,转载请注明出处。
在传统商业决策中,有多少资源因“目标人群”画像模糊而被浪费?多少营销活动因缺乏精准人群触达而效果不佳?多少市场调研因无法获取核心客群画像数据,导致策略偏离实际? 此外,你还能选择10类人群,获取其11类画像数据,涵盖基础画像(如年龄、性别)和各种偏好画像(如消费、兴趣),全面覆盖人群分析所需维度。 API获取指南及应用案例这个API主要来源是一个新上线的数据开放平台,提供很多人群、客流类 API(人群热力图、人群画像、客流趋势、客流画像等),比较小众,但包含的API还是很实用的。 注册与在线免费体验1、登录及刻开放平台,打开能力中心页面的“泛客流”栏目,找到“区域人群画像分布API”;2、查看API详情与套餐,或直接参阅开发文档,了解调用规则与接入方法。 若您的业务也需构建人群画像、区域洞察或客流分析等能力,“区域人群画像分布API”将是理想选择。
上文提到了使用画像宽表可以便捷的创建人群,本文介绍人群创建所依赖的另外一种数据组织形式:标签BitMap。 使用画像宽表圈人的逻辑是从明细数据中找到满足条件的用户并最终构建人群,而使用BitMap进行圈人会对用户进行预聚合,在人群圈选时直接使用聚合后的结果进行计算。 BitMap以上特点都非常适合存储人群数据,也决定了其在画像平台的广泛使用。基于Hive标签数据表可以生成BitMap,图5-10展示了性别和常住省标签生成BitMap的示意图。 使用画像宽表还是BitMap要根据业务特点来决定。基于宽表中全量用户的明细数据可以实现所有的人群圈选功能,但是采用BitMap方案的人群创建速度相比宽表模式可以提升50%以上。 业界一般使用混合模式,优先通过BitMap进行人群创建,不适用的场景下兜底使用画像宽表进行人群圈选。采用混合模式要考虑对齐画像宽表和BitMap的标签时间,这增加了工程的实现复杂度。
本节主要介绍人群创建所依赖的画像宽表的生成方式。为什么要创建画像宽表?基于原始的标签数据表进行人群圈选有什么问题?如何生成画像宽表?针对这些问题本节会给出详细解答。 画像宽表 本小节将首先介绍画像宽表的表结构以及在人群创建中的主要优势,然后通过一个示例介绍画像宽表的生成方式及优化手段,最后介绍画像宽表数据写入ClickHouse的实现方案。 画像宽表概念 假设用户的两个画像标签性别和常驻省分别存储在两张Hive表中,其表结构如图5-2所示。 本书技术方案支持多日期画像数据下的人群圈选等功能,自然兼容单日期下的各类功能。 画像宽表生成 画像宽表的表结构已经明确,那如何生成宽表数据? 如果画像平台用户对于人群圈选的速度没有要求,直接基于Hive表进行计算是可行的。
应用结果:运营人员只需要在画像平台创建一次人群,在Push侧仅需要配置每天的推送素材,通过系统间接口调用减少了人工操作步骤,极大地降低了人力成本。2. 基于组合人群赠送优惠券应用背景:三八妇女节当天电商平台会给女性用户赠送商品优惠券,主要通过画像平台的规则圈选找出所有女性用户并构建人群,当用户位于人群中时则赠送优惠券。 应用方式:在画像平台上通过规则圈选创建女性用户人群A,通过文件导入的方式创建黑产用户人群B,通过组合人群的方式创建人群A与B的差集人群C。 应用方式:外呼团队在画像平台上创建外呼人群,并借助人群拆分功能将该人群按照25%、25%、25%、25%的比例拆分为4个子人群,在外呼平台导入4个子人群并配置不同的话术进行外呼操作。 应用方式:产品经理在画像平台上创建种子人群并申请该人群支持判存服务,客户端调用判存服务判断当前用户是否在种子人群中,如果存在则展示小游戏功能入口。
规则圈选中所使用的画像标签数据是离线计算出来的,大部分在计算过程中剔除了很多明细信息,仅保留了最关键的画像内容,即某日某用户的标签值。 虽然画像数据是浓缩精简后的核心数据,但在很多人群圈选场景中依赖行为明细数据,比如运营人员希望找出2022-08-15 10:00:00到2022-08-15 12:00:00之间通过手机客户端点赞了某篇文章的用户 在行为明细圈选时可以结合画像标签数据一起使用,比如找到在某时间段通过手机客户端点赞了某篇文章的北京市男性用户,可以直接关联画像宽表进行计算。 ----本文节选自《用户画像:平台构建与业务实践》,转载请注明出处。
人群画像分析是对已经创建完成的人群进行画像分析,目的是从不同角度更深入地认识人群用户并挖掘其人群特点。 人群分布分析偏重人群画像标签值的占比分析,比如人群中男女占比分别为60%和40%;人群指标分析主要针对可量化的标签进行分析,比如人群的平均在线时长、平均点赞次数等;人群下钻分析是在某一画像分析维度的基础上再次基于其他画像维度进行分析 人群分布分析人群分布分析是计算人群在画像标签上的分布占比数据,比如分析人群的性别分布,常住省分布,兴趣爱好分布等。 人群分布分析只能对人群进行最直观的画像分析,比如性别和常住省的占比分布。如果业务需要查看该人群中所有男性用户的常住省分布情况,那么需要深入到男性用户中进行更深层的画像分析。 人群对比分析人群对比分析通过对比两个人群的画像分析结果,可以找出人群间的主要差异。
, 2:工作人群,3:常驻人群,4:年轻群体居住,5:年轻群体工作,6:高净值人群居住,7:高净值群体工作, 8: 居住迁入迁出, 9: 工作迁入迁出,10: 常驻迁入迁出data_typeinteger 是1:基础画像,2:收入消费,3:业态偏好,4:交通方式, 5:餐饮偏好, 6:商场偏好, (7:品牌偏好), 8:手机终端, 9:业态偏好(粗),10:迁入迁出,11:运营商从Body参数可知,这个API API中可选择10类人群、11类人群画像数据,涵盖基础画像(如年龄、性别)和各种偏好画像(如消费、兴趣),不同人群不同画像,满足多样人群分析需求,应用面挺广。 API免费体验及接入指南注册与在线免费体验1、在开放平台能力中心页面找到“泛客流”栏目,找到区域人群画像分布API,点击查看详情;2、进入详情页便能申请API接口的测试次数,有特殊需求也可以找官方。 回到今天推荐的核心API:“区域人群画像分布”,API接口设计简洁易用,开发者可以快速集成到系统中,以下是关键步骤:1.注册与认证登录平台控制台,获取区域人群画像接口API Key,用于后续接口调用;2
大数据技术与架构 点击右侧关注,大数据开发领域最强公众号! 大数据真好玩 点击右侧关注,大数据真好玩! 版权声明: 本文为大数据技术与架构整理,原作者独家授权。未经原作者允许转载追究侵权责任。 编辑|
在《当推荐系统遇上用户画像:你的画像是怎么来的?》一文中,我们介绍了怎么通过TF-IDF的方式得到用户的画像。而在本文中,我们来聊一下在搜索、推荐、计算广告系统中“画像是怎么用的?”。 而在数字营销的过程中,运营人员或者数据分析同学也是在根据已有的经验,通过用户画像的方式,扩展与历史转化人群相似的人群。比如,通过性别、年龄等筛选出化妆品的受众人群等。显然,这种方式有些粗糙。 图片引用来自参考资料1 Lookalike相似人群拓展方法主要有以下几种方式, 利用用户画像进行显式人群拓展:根据种子用户的标签(地理、兴趣、行为、品牌偏好等),利用相同标签找到目标人群; 利用机器学习模型进行隐式人群拓展 (2)向量特征,比如interest1,interest2,topic1,kw1等 (3)向量长度统计特征:interest1,interest2,interest5的长度统计。 (6)组合特征:age与aid的组合,gender与aid的组合,interest1与aid的组合,interest2与aid的组合,topic1与topic2的组合,LBS与kw1的组合。
人群圈选需求数据工程师给了下面一张Hive宽表userprofile_demo.user_label_table,其表结构及数据示例如表9-2所示。 以上述表userprofile_demo.user_label_table为例,其可能存在的最复杂的查询需求:筛选出2022年1月1日到1月7日期间每日评论次数都大于2次、 粉丝数范围属于[200,800 简单直接的解决思路实现上述需求的核心是构建如下SQL语句并找到所有满足条件的UserId,其中WHERE条件是什么取决于用户在画像平台上的标签选择和筛选配置。 ClickHouse支持基于BitMap的人群创建,可以将画像宽表中的数据转换成不同标签的BitMap数据,灌入ClickHouse中之后可以借助BitMap的交并差操作实现人群创建。 图9-8展示了基于BitMap进行人群圈选的实现逻辑。本文节选自《用户画像:平台构建与业务实践》,转载请注明出处。
01 PPT预览
经常线上云吸猫的朋友们可能会产生真的在吸猫的错觉,但其实,“为猫消费”的人群才算真正吸上了猫。 ▲猫吃jiojio都这么可爱 《2018年中国宠物行业白皮书》显示,真正吸猫的人群中,80、90后占比接近80%,占绝对优势。 狗的体重从1磅到99磅(约为0.5-45kg)不等,大型猫的体重也仅在25磅左右(约为11kg),更适合单身人群及职场人群居所的大小。[3] ? [2] 这与猫的进化和驯化情况有关。猫在大约9500年前才开始和人相处,比狗的驯化历史短了近乎2万年。 (浙江大学) [2] WikiHow. 如何让猫咪喜欢你.
而对互联网世界中不同人群进行类型识别和描绘的工作,也有了更简洁的说法——人群画像,或是用户画像。 人群画像突然成为互联网营销不可或缺的金字招牌。这个金字招牌的究竟是什么? 人群画像的经典构成要素 人群画像从字面理解,是把人群的情况用数据的方式描绘出来。人群画像和个体画像并不完全相同。千万不要混为一谈。 给个体画像,指描述不同个人的过程。 人群画像与个体画像有强关联,人群画像必须基于对个体的画像,但却高于个体的画像,体现为人群作为一个集群的整体特征。 例如,iPod生产商的人群画像显然是针对听音乐感兴趣的人,NB运动鞋厂则想对运动时尚人群画像。 人群画像与个体画像相似之处在于,两者都是对人的描述。 2Mobile端的唯一身份标识 Mobile上的唯一身份标识看起来比PC上要好,因为谁也不能轻易干掉自己手机的IMEI号码,也没有几个人知道怎么样在苹果手机中清除IDFA。
完整方案 1.赛题背景和意义 2.数据探索和特征工程 3.研究成果 4.未来展望 1.赛题背景和意义 ? ? 有了赛题的初步了解,我们接着考虑赛题的意义,主要为四个方面,(1)可直面真实场景数据,可以接触到企业内部真实脱敏的数据,让参赛者在真实业务场景上使用数据;(2)可以交流多种想法,可以接触到企业内部真实脱敏的数据 ,让参赛者在真实业务场景上使用数据;(3)进一步提升信用评估方法技能,通过此次参赛可进一步提升参赛选手的对用户信用评分的技能,可以用在用户画像和黑产识别上;(4)加强机器学习应用技能,通过此次参赛可加强如何将算法知识应用在用户给评分的业务场景中 2.数据探索与特征工程 ? 基本特征:用户ID类特征,主要标签为是否大学生客户,是否黑名单客户,是否4G不健康客户,缴费用户当前是否欠费缴费。 这里将分为四个方面,(1)数据多种数据影响,对数据的预处理,不同类别影响因素对用户信用的影响;(2)同样特征工程,特征在某些模型表现优异,而在另一些模型表现不佳;(3)构建新的特征不同模型采用了不同特征
在本文中我将以中国移动人群画像赛为基础,从零开始,带领大家一步步完成新手到冠军的竞赛历程,实现冠军之路复盘。希望我的分享与总结能给大家带来些许帮助。 简要介绍 赛题页面 ? data['敏度占比'] = data['用户话费敏感度'].map({1:1, 2:3, 3:3, 4:4, 5:8}) f, ax = plt.subplots(1, 2, figsize=(20, ': 4590,} lgb_param_l2 = { 'learning_rate': 0.01, 'boosting_type': 'gbdt', 'objective': 'regression_l2 + submit[il_not_ext]['score2'] * l2_not_ext_rate + 0.25""" 输出文件 """submit[['id', 'score']].to_csv('submit.csv 实际在竞赛中,你花下的时间应该通常是:特征工程 > 模型融合 > 算法模型 > 参数调整或者是:模型融合 > 特征工程 > 算法模型 > 参数调整文章总结 本篇文章介绍了我在中国移动消费者人群画像赛中的经验和心历路程
在本文中我将以中国移动人群画像赛为基础,从零开始,带领大家一步步完成新手到冠军的竞赛历程,实现冠军之路复盘。希望我的分享与总结能给大家带来些许帮助。 简要介绍 赛题页面 ? data['敏度占比'] = data['用户话费敏感度'].map({1:1, 2:3, 3:3, 4:4, 5:8}) f, ax = plt.subplots(1, 2, figsize=(20, ': 4590,} lgb_param_l2 = { 'learning_rate': 0.01, 'boosting_type': 'gbdt', 'objective': 'regression_l2 + submit[il_not_ext]['score2'] * l2_not_ext_rate + 0.25""" 输出文件 """submit[['id', 'score']].to_csv('submit.csv 实际在竞赛中,你花下的时间应该通常是:特征工程 > 模型融合 > 算法模型 > 参数调整或者是:模型融合 > 特征工程 > 算法模型 > 参数调整文章总结 本篇文章介绍了我在中国移动消费者人群画像赛中的经验和心历路程
阅读完本文,你可以知道: 1 利用pandas_profiling库生成数据画像 "对于AI,我们不去改变,我们就会改变。" 第二个数据科学小技巧:数据画像分析。 我们使用pandas_profiling库可以快速地对原始数据进行画像和分析。 一 notebook代码 ? 二 运行结果 数据画像报告包括五个部分 第一部分:概况分析 ? 第二部分:变量分析 ?