首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏张叔叔讲互联网

    画像平台人群创建方式-规则人群创建

    规则圈选是按照指定条件从画像数据中找到满足要求的用户并沉淀为人群的一种常见的人群创建方式。所谓的规则就是条件的组合,比如北京市男性用户,最近一周平均在线时长介于2到10分钟之间的中老年用户。 人群创建引擎读取到规则人群配置信息后,首先判断是否适合通过BitMap实现人群圈选,如果适合,可以获取标签的BitMap在内存中进行交、并、差操作;不适合BitMap实现的可以兜底通过ClickHouse 每一个人群最终都会存储在Hive表和OSS中,但是不同人群创建方式优先产出的人群存储类型不同,所以画像平台需要支持Hive和OSS之间数据的相互转换。 批量读取Hive表中数据,在内存中构建BitMap后存储到OSS中;BitMapToHive需要将内存中的数据快速写入Hive表,主要分为写入本地文件、上传到HDFS以及加载成Hive表三个步骤,该过程与第3章中通过文件导入创建标签类似 相关代码和步骤本章不再赘述,可以参考第3章中对应内容。----本文节选自《用户画像:平台构建与业务实践》,转载请注明出处。

    2K00编辑于 2023-10-18
  • 来自专栏张叔叔讲互联网

    画像平台人群创建方式-导入人群创建

    导入人群是将外部数据导入画像平台构建人群,主要有3种实现方式:文件导入、Hive表导入和SQL导入。 图5-20展示了3种导入人群的可视化配置页面。 Hive导入和SQL导入方式创建人群数据直接存储到Hive表中,后续需要通过HiveToBitmap将人群数据写入BitMap并存储在OSS中。 文件上传后同步创建人群耗时比较久,为了提高用户体验,创建过程可以实现异步处理,即通过接口上传的文件先保存到服务端,然后异步解析文件并创建人群。 导入人群是画像平台最常用的人群创建方式之一,其实现了将各类数据源沉淀为人群的功能,支持更灵活的人群创建方式,拓展了画像平台数据范围。

    90610编辑于 2023-10-19
  • 来自专栏张叔叔讲互联网

    人群LookALike以及挖掘人群创建思路

    人群LookALike是给定种子人群,然后通过技术手段找到与该种子人群相似的用户群体。 图5-26展示了基于向量求LookALike人群的主要流程。图片基于种子人群特征分布计算相似人群。 图片基于分类算法计算相似人群。把种子人群当作正样本,其他非种子人群(或者其他人群)当作负样本,通过训练分类模型计算出满足条件的用户并构建目标人群。 目前也有利用社交网络进行人群LookALike的实践方案,通过好友关系找到种子人群中所有用户的几度好友并构建目标人群。挖掘人群是指定优化目标,借助算法能力找到满足要求的用户并构建人群人群挖掘的思路是先找到训练样本(种子人群),然后通过LookALike的思路扩展种子人群。该方式与人群LookALike不同的是,人群挖掘的结果中可以包含种子人群中的用户数据。

    1.9K30编辑于 2023-10-22
  • 来自专栏张叔叔讲互联网

    人群创建的基础:画像标签BitMap

    ​上文提到了使用画像宽表可以便捷的创建人群,本文介绍人群创建所依赖的另外一种数据组织形式:标签BitMap。 首先基于标签明细数据聚合生成标签值BitMap数据,其执行结果会存储在Hive表中;其次将已经生成的标签值BitMap的Hive表数据写入到ClickHouse表中,该操作可以提高后续查询BitMap的效率;最后在人群创建过程中从数据表中查询出 多个RoaringBitMap可以在内存中直接进行交、并、差操作,最终实现人群创建。 基于宽表中全量用户的明细数据可以实现所有的人群圈选功能,但是采用BitMap方案的人群创建速度相比宽表模式可以提升50%以上。BitMap适用的标签类型和业务场景有限,要结合实际的数据进行判断。 业界一般使用混合模式,优先通过BitMap进行人群创建,不适用的场景下兜底使用画像宽表进行人群圈选。采用混合模式要考虑对齐画像宽表和BitMap的标签时间,这增加了工程的实现复杂度。

    2.5K11编辑于 2023-10-17
  • 来自专栏张叔叔讲互联网

    人群创建的基础:画像宽表

    ​本节主要介绍人群创建所依赖的画像宽表的生成方式。为什么要创建画像宽表?基于原始的标签数据表进行人群圈选有什么问题?如何生成画像宽表?针对这些问题本节会给出详细解答。 假设按图5-3所示将所有的标签拼接到一张数据表中并构建出一张宽表,上述圈选SQL语句可以简化成如下语句。该语句更加简洁且容易理解,其复杂度也不会随着筛选条件的增多而提高。 ,如果创建过程直接关联到每个标签的源数据表,那么任何源数据表的改动或者异常都将影响后续的人群创建功能。 通过分散表创建人群将造成标签数据表的权限申请、审批、变更流程异常繁琐 画像平台作为一个“用户”申请所有标签数据表权限来构建一张宽表,普通用户创建人群的过程只与宽表交互,避免了用户直接申请所有上游数据表权限的问题 数据解耦 人群创建语句涉及多张Hive数据表,当数据表名称或者列名称变更时,需要修改所有包含该标签的人群创建语句。

    1.7K20编辑于 2023-10-16
  • 来自专栏张叔叔讲互联网

    画像平台人群创建方式-明细行为圈选

    虽然画像数据是浓缩精简后的核心数据,但在很多人群圈选场景中依赖行为明细数据,比如运营人员希望找出2022-08-15 10:00:00到2022-08-15 12:00:00之间通过手机客户端点赞了某篇文章的用户

    1.5K40编辑于 2023-10-21
  • 来自专栏大数据智能实战

    基于C3Framework开源人群计数框架的测试

    C3Framework是一个开源的人群计数框架,在进行代码复现的时候,进行单张图片的测试。 1. C3Framework中的算法 根据官网介绍,在该框架中集成了若干个模型,其中有些模型的复现效果并没有论文上来得好。 Method WE UCF50 MCNN (RGB Image) TBD TBD AlexNet (conv5) TBD TBD VGG-16 (conv4_3) TBD TBD VGG-16 (conv4 _3)+decoder TBD TBD ResNet-50 (layer3) TBD TBD ResNet-101 (layer3) TBD TBD CSRNet TBD TBD SANet TBD TBD C3Framework中的算法测试 撰写单个图片的测试代码如下,在该代码中同时进行了MAE和MSE的计算。 ? 以数据集中的第一张图片来测试: ? 其原始的人群密度图如下: ?

    90120发布于 2019-08-01
  • 来自专栏机器学习、深度学习

    人群密度估计

    Counting Varying Density Crowds Through Attention Guided Detection and Density Estimation CVPR2018 本文针对人群密度问题 将 检测方法和回归方法结合到一起,以此来提升人群密度估计精度 人群密度估计问题目前主要的方法有基于检测的和基于回归的方法。 在人群密度小的时候,基于检测的方法效果更好。在人群密度较大的时候,基于回归方法的效果比较好。 ? ? 本文的思路就是将 检测方法和回归方法结合起来,各取所长。

    1.5K40发布于 2019-05-26
  • 来自专栏用户画像

    相似人群画像算法

    一、数据源 1、相似人群数据存在TDW库中,数据字典说明: CREATE TABLE sim_people_tdw_tbl( uid STRING COMMENT 'reader id', 维度含义依次为一级分类、二级分类、关键字、topic、阅读来源 negative 负画像(不喜欢),其他字段的含义与正画像一样 update_time 更新时间 cityCode或city 城市编码 3、 相似人群字典表 :return: 相似度最高的相似人群 """ user_similarity_list = sorted(cluster_dic.iteritems(), key cluster_dimension_feature:群画像某个维度的特征 :param user_dimension:用户某个维度的特征 :param ratio:user的权重,公式为相似度/(相似度+10),区间为(1/3, : 相似人群的相似度字典表 :return: 相似人群画像字典表 """ cluster_profile_rs = {} for sim_user_obj in sim_users_profile_array

    2.6K61发布于 2018-07-19
  • 来自专栏机器学习、深度学习

    人群密度估计

    该网络在几个常用的公开人群密度估计数据库上取得了不错的效果。 1 Introduction 拥挤场景解析的发展从简单的人群数值估计到 人群密度图估计,人群密度图可以提供额外的信息,因为同样数量的人可以分布在不同的位置,如下图所示 ? 生成准确的人群分布图挑战性比较大,其中一个主要的困难就是离散化的问题,人在图像中不是只占用一个像素,密度图需要保持局部邻域的连续性。其他的困难包括场景的多样性,相机角度的多样性。 (MCNN) 的架构,我们观察到这种结构存在几个问题: 1)Multi-column CNNs 比较难训练 2)Multi-column CNNs 引入了冗余的网络结构,如表1 所示 3) density level classifier ,这样计算量比较大 4) 这些网络用了很大一部分参数用于 density level classification,用于密度图估计的参数占小部分 3

    1.7K30发布于 2019-05-26
  • 来自专栏机器学习、深度学习

    人群分析、人群计数 开源代码文献及数据库

    Scale-adaptive Convolutional Nerual Network https://github.com/miao0913/SaCNN-CrowdCounting-Tencent_Youtu 人群分析 Towards perspective-free object counting with deep learning ECCV2016 https://github.com/gramuah/ccnn 人群计数 Density Estimation for Crowd Counting AVSS 2017 https://github.com/svishwa/crowdcount-cascaded-mtl 人群计数 /hosseinm/med Panic,Fight,Congestion,Obstacle ,Neutral 人群异常检测 Anomaly Detection and Localization in Crowded Scenes 数据库 http://www.svcl.ucsd.edu/projects/anomaly/ 人群分析 Deep Spatio-Temporal Residual

    2.1K70发布于 2018-01-03
  • 来自专栏懒人的运维备忘录

    Nginx(3)-创建 https 站点

    常见的对称加密算法: DES(Data Encryption Standard) 3DES AES(Advanced Encryption Standard)密钥长度可选128/192/258/384/ 2.生成 CA 的密钥对:(umask 077;openssl genrsa -out /etc/pki/CA/private/cakey.pem 2048) 03-07-生成 CA 密钥对.png 3. nginx-1.14.2/conf/ssl/ /etc/nginx/ssl (umask 077;openssl genrsa -out /etc/nginx/ssl/nginx.key 2048) 3. .签署请求文件:openssl ca -in /tmp/nginx.csr -out /tmp/nginx.crt -days 365 03-10-CA 签署请求.png 2.将证书发送给请求客户端 3. MD5; #密码加密方式 ssl_prefer_server_ciphers on; #依赖 SSLv3和 TLSv1协议的服务器密码将优先于客户端密码 location

    1.5K00发布于 2019-03-19
  • 来自专栏人生代码

    Vue 3 创建应用实例

    应用实例 实验介绍 本章节主要是对 Vue 应用实例的讲解,我们都知道在 Vue 2.x 是通过 new Vue() 来创建 Vue 应用的,但是在 Vue 3.0 中不是这样的,使用 createApp () 来创建实例的。 创建一个应用实例 我们在接着上个章节的实验的代码,删除多余的代码之后,我们打开 src/main.js,看到引入了一堆东西,我们看到最后一行代码最吸引我们的眼球,对的,就是他创建了一个应用实例,从 Vue 值得注意的是只有当实例被创建时就已经存在于 data 中的 property 才是响应式的。也就是说如果你添加一个新的 property,比如: vm.b = 10 他是否会直接响应到我们的页面上呢? /store' let foo = Object.freeze({ foo: 3 }) // 冻结对象 const com = defineComponent({ name: 'com'

    4.7K30发布于 2020-11-03
  • 来自专栏全栈程序员必看

    Swift3创建数组

    接下来我们来学习如何创建一个空数组。 最后我们来学习如何创建非空数组。 | let strArray3 = [“hello”,”swift”,15] 上述代码都是对数组进行声明和初始化,数组的类型是通过冒号(:)指明数组的类型。 第3行代码声明了一个不可变数组,这里没有指明数组的类型,采用的是隐式推断。根据初始化数组的值推断出数组的类型。 此外,如果数组中存储多个相同的元素,我们可以通过以下方法快速创建该数组: 1 | var threeDoubles = Array(repeating: 0.0, count: 3) 此时threeDoubles

    1K20编辑于 2022-09-01
  • 来自专栏张叔叔讲互联网

    人群数据如何对外输出

    人群创建成功后会存储在Hive表和OSS中,画像平台用户有时需要拉取人群数据并应用到一些业务中。 Hive表的方式就是将人群结果表告知业务使用,此时需要注意以下3个问题:权限问题:如果所有人群的结果都存储在同一张Hive表中,需要严格进行权限控制。 获取人群基本信息接口主要用于查询人群基本信息,其中包括人群名称、用户数量、人群状态、创建者、创建规则等,该接口可以使用缓存来提高接口性能。 当业务方需要感知人群状态变化时,可以定期调用人群基本信息接口,对比人群前后状态就可以知道人群状态是否变更。比如在Push平台上置了一个定时更新人群,当人群数据更新后需要再次给人群下的用户推送消息。 此时Push侧需要及时感知人群状态变化,当发现人群重新创建成功后再次进行Push操作。

    72150编辑于 2023-10-23
  • 来自专栏HAUE_LYS'Blog

    3. 创建游戏界面

    ---- 3.1.3 创建游戏界面对象 ---- 首先进入 game/static/js/src/playground/zbase.js,创建新的 html 类: class AcGamePlayground ---- 3.3.1 创建可动对象的基类文件 ---- 进入 game/static/js/src/playground/ac_game_object,创建 zbase.js: //将创建的对象存入全局数组里 $canvas.mousedown(function(e) { if(e.which === 3) { //判断鼠标的键位 1是左键, 2是滚轮 this.is_me) { //人机模式下敌人的攻击规则 if(Math.random() < 1/250.0 && this.spent_time > 3) { / this.speed = speed; this.move_length = move_length; this.friction = 0.9; this.eps = 3;

    1.8K20编辑于 2022-11-18
  • Vue3 创建项目

    vue create 命令 vue create 命令创建项目语法格式如下: vue create [options] <app-name> 创建一个由 vue-cli-service 提供支持的新项目 -b, --bare: 创建项目时省略默认组件中的新手指导信息 -h, --help: 输出使用帮助信息 接下来我们创建 runoob-vue3-app 项目: vue create runoob-vue3 安装完成后,我们进入项目目录: cd runoob-vue3-app2 启动应用: npm run serve 然后打开 http://localhost:8080/,就可以看到应用界面了: vue ui 命令 除了使用 vue create 命令创建项目,我们还可以使用可视化创建工具来创建项目。 执行以上命令,会在浏览器弹出一个项目管理的界面: 我们可以点击"创建"选项来创建一个项目,选择底部"在此创建项目",页面上方也可以选择路径: 然后输入我们的项目名称,选择包管理工具为 npm,然后点击下一步

    19410编辑于 2025-12-16
  • 来自专栏机器学习AI算法工程

    受众行为分析与人群定向

    明白了这一点,也就触摸到了人群定向的天花板–不可能百分之百精准。 如何从广泛的受众中提炼目标人群呢? 正是依靠受众行为分析。 定义3:受众聚类模型 ? 常用的聚类分析算法大致包括划分方法,分层方法,基于密度的方法和基于网格的方法等几类。 (3)通过随机抽样和划分技术,使得CURE算法能够处理超大规模的数据,以加快聚类算法的执行效率。 继续前面的例子,已有受众A: ρ1={1,0.75,0.8,0.1,…},若还有受众B: ρ2={2,0.78,0.81,0.2,…},受众C: ρ3={3,0.77,0.82,0.1,…}等等。 人群定向投放 作为人群定向广告正式投放前的最后一步,受众聚类和结构化的人群分类将进行匹配映射。这种映射是利用二者标签集合的重合度来实现的。

    2.5K70发布于 2018-03-14
  • 来自专栏机器学习、深度学习

    人群计数--Mixture of Counting CNNs

    of CNNs Specialized to Specific Appearance for Crowd Counting https://arxiv.org/abs/1703.09393 本文是人群计数的 ,不是人群密度估计。 这里主要的思路是针对不同场景的 scale and congestion 造成图像块的 Appearance 差别很大,这里我们使用多个小 CNN 来估计总人群。 另外适应一个大点的 CNN 对 图像块进行分类,这种分类主要依据人群密度大小。类别的概率作为每个小 CNN 的权重。 Appearance 的差异性 ?

    71370发布于 2018-01-03
  • 选址、调研所需周边人群画像怎么获取?区域人群画像分布API接入指南!

    在传统商业决策中,有多少资源因“目标人群”画像模糊而被浪费?多少营销活动因缺乏精准人群触达而效果不佳?多少市场调研因无法获取核心客群画像数据,导致策略偏离实际? 此外,你还能选择10类人群,获取其11类画像数据,涵盖基础画像(如年龄、性别)和各种偏好画像(如消费、兴趣),全面覆盖人群分析所需维度。 API获取指南及应用案例这个API主要来源是一个新上线的数据开放平台,提供很多人群、客流类 API(人群热力图、人群画像、客流趋势、客流画像等),比较小众,但包含的API还是很实用的。 location": "113.943,22.535", "data_type": 1})headers = { 'token': '5b139c8cd617c24965401965a9fdc6e3' 若您的业务也需构建人群画像、区域洞察或客流分析等能力,“区域人群画像分布API”将是理想选择。

    34410编辑于 2025-10-17
领券