,格式为用户编号:相同阅读量,相似用户之间以逗号分隔 sim_num BIGINT 相似人群的人数 update_date string 数据日期 2、基础用户画像存在MongoDB中 Image [ 、二级分类、关键字、topic、阅读来源 negative 负画像(不喜欢),其他字段的含义与正画像一样 update_time 更新时间 cityCode或city 城市编码 3、相似人群画像也存在 :param all_uid:用户的编号列表 :type batch_num: int """ rs = {} # 数据库查询所有人群用户画像 ,此画像中没有相似人群 for x in xrange(0, int(math.ceil(len(all_uid) / float(batch_num)))): : 相似人群的相似度字典表 :return: 相似人群画像字典表 """ cluster_profile_rs = {} for sim_user_obj in sim_users_profile_array
规则圈选是按照指定条件从画像数据中找到满足要求的用户并沉淀为人群的一种常见的人群创建方式。所谓的规则就是条件的组合,比如北京市男性用户,最近一周平均在线时长介于2到10分钟之间的中老年用户。 规则圈选的实现依赖画像宽表数据或者BitMap数据,其实现逻辑如图5-12所示。 画像宽表进行人群筛选,其实现逻辑是将人群圈选条件转变为SQL语句,借助ClickHouse引擎查询出所有满足条件的UserId并构建人群;当ClickHouse执行异常时会再次兜底从Hive表中筛选用户 每一个人群最终都会存储在Hive表和OSS中,但是不同人群创建方式优先产出的人群存储类型不同,所以画像平台需要支持Hive和OSS之间数据的相互转换。 ----本文节选自《用户画像:平台构建与业务实践》,转载请注明出处。
导入人群是将外部数据导入画像平台构建人群,主要有3种实现方式:文件导入、Hive表导入和SQL导入。 文件导入是将TXT、CSV等格式的文件导入画像平台;Hive表导入是指定源Hive表及导入字段,将满足条件的源表数据导入画像平台;SQL导入是Hive表导入的延伸,用户可以自由编写SQL语句,其运行结果最终导入画像平台 导入人群是画像平台最常用的人群创建方式之一,其实现了将各类数据源沉淀为人群的功能,支持更灵活的人群创建方式,拓展了画像平台数据范围。 比如运营人员将某次活动中表现良好的用户导入画像平台并构建成人群,后续可以进行广告投放或者人群分析;数据分析师离线统计出了一批高价值用户,导入平台构建人群后可以直接提供给业务使用。 ---- 本文节选自《用户画像:平台构建与业务实践》,转载请注明出处。
在传统商业决策中,有多少资源因“目标人群”画像模糊而被浪费?多少营销活动因缺乏精准人群触达而效果不佳?多少市场调研因无法获取核心客群画像数据,导致策略偏离实际? 区域人群画像分布APIAPI介绍:查询指定区域内得人群基础画像(共11类画像数据);从标准开发文档中的关键参数,即可看出其灵活性与实用价值:Body参数从Body参数可知,你可以自由选择不同季度(Q1~ 此外,你还能选择10类人群,获取其11类画像数据,涵盖基础画像(如年龄、性别)和各种偏好画像(如消费、兴趣),全面覆盖人群分析所需维度。 API获取指南及应用案例这个API主要来源是一个新上线的数据开放平台,提供很多人群、客流类 API(人群热力图、人群画像、客流趋势、客流画像等),比较小众,但包含的API还是很实用的。 若您的业务也需构建人群画像、区域洞察或客流分析等能力,“区域人群画像分布API”将是理想选择。
上文提到了使用画像宽表可以便捷的创建人群,本文介绍人群创建所依赖的另外一种数据组织形式:标签BitMap。 使用画像宽表圈人的逻辑是从明细数据中找到满足条件的用户并最终构建人群,而使用BitMap进行圈人会对用户进行预聚合,在人群圈选时直接使用聚合后的结果进行计算。 BitMap以上特点都非常适合存储人群数据,也决定了其在画像平台的广泛使用。基于Hive标签数据表可以生成BitMap,图5-10展示了性别和常住省标签生成BitMap的示意图。 使用画像宽表还是BitMap要根据业务特点来决定。基于宽表中全量用户的明细数据可以实现所有的人群圈选功能,但是采用BitMap方案的人群创建速度相比宽表模式可以提升50%以上。 业界一般使用混合模式,优先通过BitMap进行人群创建,不适用的场景下兜底使用画像宽表进行人群圈选。采用混合模式要考虑对齐画像宽表和BitMap的标签时间,这增加了工程的实现复杂度。
本节主要介绍人群创建所依赖的画像宽表的生成方式。为什么要创建画像宽表?基于原始的标签数据表进行人群圈选有什么问题?如何生成画像宽表?针对这些问题本节会给出详细解答。 画像宽表 本小节将首先介绍画像宽表的表结构以及在人群创建中的主要优势,然后通过一个示例介绍画像宽表的生成方式及优化手段,最后介绍画像宽表数据写入ClickHouse的实现方案。 比如圈选出7月1日到7月6日范围内平均在线时长超过20分钟的用户、圈选7月9日到7月15日期间累计点赞次数超过20次的用户,以上圈选条件都需要查询过往7天的标签数据。 本书技术方案支持多日期画像数据下的人群圈选等功能,自然兼容单日期下的各类功能。 画像宽表生成 画像宽表的表结构已经明确,那如何生成宽表数据? 图5-7展示了Hive宽表数据写入ClickHouse的主要实现逻辑。
应用方式:调研人员通过画像平台LBS人群圈选功能找到了几所高校附近出现过的用户,并结合用户年龄段等标签提高了用户圈选的精确度。生成人群之后,私信平台可以通过接口拉取人群数据并进行私信推送。 基于组合人群赠送优惠券应用背景:三八妇女节当天电商平台会给女性用户赠送商品优惠券,主要通过画像平台的规则圈选找出所有女性用户并构建人群,当用户位于人群中时则赠送优惠券。 应用方式:在画像平台上通过规则圈选创建女性用户人群A,通过文件导入的方式创建黑产用户人群B,通过组合人群的方式创建人群A与B的差集人群C。 应用方式:外呼团队在画像平台上创建外呼人群,并借助人群拆分功能将该人群按照25%、25%、25%、25%的比例拆分为4个子人群,在外呼平台导入4个子人群并配置不同的话术进行外呼操作。 应用方式:产品经理在画像平台上创建种子人群并申请该人群支持判存服务,客户端调用判存服务判断当前用户是否在种子人群中,如果存在则展示小游戏功能入口。
规则圈选中所使用的画像标签数据是离线计算出来的,大部分在计算过程中剔除了很多明细信息,仅保留了最关键的画像内容,即某日某用户的标签值。 虽然画像数据是浓缩精简后的核心数据,但在很多人群圈选场景中依赖行为明细数据,比如运营人员希望找出2022-08-15 10:00:00到2022-08-15 12:00:00之间通过手机客户端点赞了某篇文章的用户 在行为明细圈选时可以结合画像标签数据一起使用,比如找到在某时间段通过手机客户端点赞了某篇文章的北京市男性用户,可以直接关联画像宽表进行计算。 ----本文节选自《用户画像:平台构建与业务实践》,转载请注明出处。
人群画像分析是对已经创建完成的人群进行画像分析,目的是从不同角度更深入地认识人群用户并挖掘其人群特点。 人群分布分析偏重人群画像标签值的占比分析,比如人群中男女占比分别为60%和40%;人群指标分析主要针对可量化的标签进行分析,比如人群的平均在线时长、平均点赞次数等;人群下钻分析是在某一画像分析维度的基础上再次基于其他画像维度进行分析 人群分布分析只能对人群进行最直观的画像分析,比如性别和常住省的占比分布。如果业务需要查看该人群中所有男性用户的常住省分布情况,那么需要深入到男性用户中进行更深层的画像分析。 人群对比分析人群对比分析通过对比两个人群的画像分析结果,可以找出人群间的主要差异。 图6-7展示了两个人群进行人群对比分析的功能示意图,图中展示了性别和常住省下的所有TGI数值,其中女性和河南省具有显著差异。----本文节选自《用户画像:平台构建与业务实践》,转载请注明出处。
, 2:工作人群,3:常驻人群,4:年轻群体居住,5:年轻群体工作,6:高净值人群居住,7:高净值群体工作, 8: 居住迁入迁出, 9: 工作迁入迁出,10: 常驻迁入迁出data_typeinteger 是1:基础画像,2:收入消费,3:业态偏好,4:交通方式, 5:餐饮偏好, 6:商场偏好, (7:品牌偏好), 8:手机终端, 9:业态偏好(粗),10:迁入迁出,11:运营商从Body参数可知,这个API API中可选择10类人群、11类人群画像数据,涵盖基础画像(如年龄、性别)和各种偏好画像(如消费、兴趣),不同人群不同画像,满足多样人群分析需求,应用面挺广。 回到今天推荐的核心API:“区域人群画像分布”,API接口设计简洁易用,开发者可以快速集成到系统中,以下是关键步骤:1.注册与认证登录平台控制台,获取区域人群画像接口API Key,用于后续接口调用;2 ,若能深度开发或集成“区域人群画像分布API”至产品,即可获得多维度的深度人群洞察。
大数据技术与架构 点击右侧关注,大数据开发领域最强公众号! 大数据真好玩 点击右侧关注,大数据真好玩! 版权声明: 本文为大数据技术与架构整理,原作者独家授权。未经原作者允许转载追究侵权责任。 编辑|
在《当推荐系统遇上用户画像:你的画像是怎么来的?》一文中,我们介绍了怎么通过TF-IDF的方式得到用户的画像。而在本文中,我们来聊一下在搜索、推荐、计算广告系统中“画像是怎么用的?”。 而在数字营销的过程中,运营人员或者数据分析同学也是在根据已有的经验,通过用户画像的方式,扩展与历史转化人群相似的人群。比如,通过性别、年龄等筛选出化妆品的受众人群等。显然,这种方式有些粗糙。 举个广告的栗子,对于一个化妆品类广告主,需要对100万人投放自己的广告,但是根据经验或者画像只有10万的人群包,那么如何选取这100万,同时满足人群量级和转化(盲目选择可能存在无效用户)两个因素,就需要用到 图片引用来自参考资料1 Lookalike相似人群拓展方法主要有以下几种方式, 利用用户画像进行显式人群拓展:根据种子用户的标签(地理、兴趣、行为、品牌偏好等),利用相同标签找到目标人群; 利用机器学习模型进行隐式人群拓展 (7)五大类特征,投放量(click)、投放比例(ratio)、转化率(cvr)、特殊转化率(CV_cvr)、多值长度(length),每类特征基本都做了一维字段和二维组合字段的统计。
简单直接的解决思路实现上述需求的核心是构建如下SQL语句并找到所有满足条件的UserId,其中WHERE条件是什么取决于用户在画像平台上的标签选择和筛选配置。 如图9-7所示,人群圈选功能的实现已经从单纯的Hive查询转变为ClickHouse查询优先、失败后Hive兜底的方式,人群圈选速度提升明显,人群产出时间从几十分钟降低到几分钟。 查询2022年1月1日到1月7日期间,开直播(live_or_not)天数超过3次且收礼数量(receive_gift_count)超过10个的北京市男性用户,其核心SQL语句如下所示。 ClickHouse支持基于BitMap的人群创建,可以将画像宽表中的数据转换成不同标签的BitMap数据,灌入ClickHouse中之后可以借助BitMap的交并差操作实现人群创建。 图9-8展示了基于BitMap进行人群圈选的实现逻辑。本文节选自《用户画像:平台构建与业务实践》,转载请注明出处。
01 PPT预览
经常线上云吸猫的朋友们可能会产生真的在吸猫的错觉,但其实,“为猫消费”的人群才算真正吸上了猫。 ▲猫吃jiojio都这么可爱 《2018年中国宠物行业白皮书》显示,真正吸猫的人群中,80、90后占比接近80%,占绝对优势。 [7] ? 另一方面,由于宠物销售市场不规范,也存在“近亲繁殖”的问题,繁殖出纯种猫的基因配比使其一定有遗传病,甚至可能非常严重。 狗的体重从1磅到99磅(约为0.5-45kg)不等,大型猫的体重也仅在25磅左右(约为11kg),更适合单身人群及职场人群居所的大小。[3] ? PLoS One, 7, e46362] [6] 狗民网.《2018中国宠物行业白皮书》. [7] Scott R. Loss, Tom Will & Peter P. (2013).
而对互联网世界中不同人群进行类型识别和描绘的工作,也有了更简洁的说法——人群画像,或是用户画像。 人群画像突然成为互联网营销不可或缺的金字招牌。这个金字招牌的究竟是什么? 人群画像的经典构成要素 人群画像从字面理解,是把人群的情况用数据的方式描绘出来。人群画像和个体画像并不完全相同。千万不要混为一谈。 给个体画像,指描述不同个人的过程。 人群画像与个体画像有强关联,人群画像必须基于对个体的画像,但却高于个体的画像,体现为人群作为一个集群的整体特征。 例如,iPod生产商的人群画像显然是针对听音乐感兴趣的人,NB运动鞋厂则想对运动时尚人群画像。 人群画像与个体画像相似之处在于,两者都是对人的描述。 人群画像的经典构成要素,也就由此产生。它包括三个非常关键的组成部分:个体的标识,个体的画像(即打标签)以及对人群共性的抽象。
让参赛者在真实业务场景上使用数据;(2)可以交流多种想法,可以接触到企业内部真实脱敏的数据,让参赛者在真实业务场景上使用数据;(3)进一步提升信用评估方法技能,通过此次参赛可进一步提升参赛选手的对用户信用评分的技能,可以用在用户画像和黑产识别上
在本文中我将以中国移动人群画像赛为基础,从零开始,带领大家一步步完成新手到冠军的竞赛历程,实现冠军之路复盘。希望我的分享与总结能给大家带来些许帮助。 简要介绍 赛题页面 ? feval_lgb(y_pred, train_data): y_true = train_data.get_label() y_pred = np.argmax(y_pred.reshape(7, feature_fraction': 0.6, 'bagging_fraction': 0.8, 'bagging_freq': 2, 'num_leaves': 40, 'max_depth': 7, 实际在竞赛中,你花下的时间应该通常是:特征工程 > 模型融合 > 算法模型 > 参数调整或者是:模型融合 > 特征工程 > 算法模型 > 参数调整文章总结 本篇文章介绍了我在中国移动消费者人群画像赛中的经验和心历路程
在本文中我将以中国移动人群画像赛为基础,从零开始,带领大家一步步完成新手到冠军的竞赛历程,实现冠军之路复盘。希望我的分享与总结能给大家带来些许帮助。 简要介绍 赛题页面 ? feval_lgb(y_pred, train_data): y_true = train_data.get_label() y_pred = np.argmax(y_pred.reshape(7, feature_fraction': 0.6, 'bagging_fraction': 0.8, 'bagging_freq': 2, 'num_leaves': 40, 'max_depth': 7, 实际在竞赛中,你花下的时间应该通常是:特征工程 > 模型融合 > 算法模型 > 参数调整或者是:模型融合 > 特征工程 > 算法模型 > 参数调整文章总结 本篇文章介绍了我在中国移动消费者人群画像赛中的经验和心历路程
人群LookALike是给定种子人群,然后通过技术手段找到与该种子人群相似的用户群体。 使用画像数据、行为数据、消费数据等为每一个用户构建特征向量,构建过程依赖数据编码、数据归一化等手段。 借助画像数据对种子人群进行特征分析并找出其主要标签特征,比如种子人群标签特征趋向于:性别男、年龄30至40岁、兴趣爱好-军事,那么可以把非种子人群中的所有30-40岁之间爱好军事的男性用户圈选出来作为目标人群 该方式的重点是对种子人群进行画像分析并找出主要特征,此处可以通过与大盘用户(日活或者月活)对比计算TGI找到种子人群主要画像分布特征。基于特征分布计算相似人群的流程如图5-27所示。 ----本文节选自《用户画像:平台构建与业务实践》,转载请注明出处。