- 综合排序
- 最热优先
- 最新优先
- 来自专栏张叔叔讲互联网
画像平台人群创建方式-规则人群创建
规则圈选是按照指定条件从画像数据中找到满足要求的用户并沉淀为人群的一种常见的人群创建方式。所谓的规则就是条件的组合，比如北京市男性用户，最近一周平均在线时长介于2到10分钟之间的中老年用户。 人群创建引擎读取到规则人群配置信息后，首先判断是否适合通过BitMap实现人群圈选，如果适合，可以获取标签的BitMap在内存中进行交、并、差操作；不适合BitMap实现的可以兜底通过ClickHouse Hive表中的人群数据主要用于离线数据分析场景，很多业务使用人群之后需要通过人群结果表进行效果分析。图5-13展示了人群结果表的表结构设计，人群crowd_id作为分区键，分区下包含该人群所有用户。 每一个人群最终都会存储在Hive表和OSS中，但是不同人群创建方式优先产出的人群存储类型不同，所以画像平台需要支持Hive和OSS之间数据的相互转换。 ，在内存中构建BitMap后存储到OSS中；BitMapToHive需要将内存中的数据快速写入Hive表，主要分为写入本地文件、上传到HDFS以及加载成Hive表三个步骤，该过程与第3章中通过文件导入创建标签类似
2K00编辑于 2023-10-18 - 来自专栏张叔叔讲互联网
画像平台人群创建方式-导入人群创建
Hive导入和SQL导入方式创建的人群数据直接存储到Hive表中，后续需要通过HiveToBitmap将人群数据写入BitMap并存储在OSS中。 通过TXT或者CSV文件创建人群，其文件中只需要保存一列UserId数据。文件通过接口上传到服务端后可以解析其中的每一行数据，数据经处理后可以直接写入BitMap并存储到OSS中。 图5-22展示了通过上传文件创建人群的流程图，其中展示了DeviceId文件上传的处理流程，DeviceId需要做一次ID转换之后再写入人群BitMap。 文件上传后同步创建人群耗时比较久，为了提高用户体验，创建过程可以实现异步处理，即通过接口上传的文件先保存到服务端，然后异步解析文件并创建人群。 导入人群是画像平台最常用的人群创建方式之一，其实现了将各类数据源沉淀为人群的功能，支持更灵活的人群创建方式，拓展了画像平台数据范围。
90610编辑于 2023-10-19 - 来自专栏张叔叔讲互联网
人群LookALike以及挖掘人群的创建思路
人群LookALike是给定种子人群，然后通过技术手段找到与该种子人群相似的用户群体。 图5-26展示了基于向量求LookALike人群的主要流程。图片基于种子人群特征分布计算相似人群。 图片基于分类算法计算相似人群。把种子人群当作正样本，其他非种子人群（或者其他人群）当作负样本，通过训练分类模型计算出满足条件的用户并构建目标人群。 目前也有利用社交网络进行人群LookALike的实践方案，通过好友关系找到种子人群中所有用户的几度好友并构建目标人群。挖掘人群是指定优化目标，借助算法能力找到满足要求的用户并构建人群。 人群挖掘的思路是先找到训练样本（种子人群），然后通过LookALike的思路扩展种子人群。该方式与人群LookALike不同的是，人群挖掘的结果中可以包含种子人群中的用户数据。
1.9K30编辑于 2023-10-22 - 来自专栏张叔叔讲互联网
人群创建的基础：画像标签BitMap
上文提到了使用画像宽表可以便捷的创建人群，本文介绍人群创建所依赖的另外一种数据组织形式：标签BitMap。 首先基于标签明细数据聚合生成标签值BitMap数据，其执行结果会存储在Hive表中；其次将已经生成的标签值BitMap的Hive表数据写入到ClickHouse表中，该操作可以提高后续查询BitMap的效率；最后在人群创建过程中从数据表中查询出 多个RoaringBitMap可以在内存中直接进行交、并、差操作，最终实现人群的创建。 基于宽表中全量用户的明细数据可以实现所有的人群圈选功能，但是采用BitMap方案的人群创建速度相比宽表模式可以提升50%以上。BitMap适用的标签类型和业务场景有限，要结合实际的数据进行判断。 业界一般使用混合模式，优先通过BitMap进行人群创建，不适用的场景下兜底使用画像宽表进行人群圈选。采用混合模式要考虑对齐画像宽表和BitMap的标签时间，这增加了工程的实现复杂度。
2.5K11编辑于 2023-10-17 - 来自专栏张叔叔讲互联网
人群创建的基础：画像宽表
本节主要介绍人群创建所依赖的画像宽表的生成方式。为什么要创建画像宽表？基于原始的标签数据表进行人群圈选有什么问题？如何生成画像宽表？针对这些问题本节会给出详细解答。 ，如果创建过程直接关联到每个标签的源数据表，那么任何源数据表的改动或者异常都将影响后续的人群创建功能。 通过分散表创建人群将造成标签数据表的权限申请、审批、变更流程异常繁琐 画像平台作为一个“用户”申请所有标签数据表权限来构建一张宽表，普通用户创建人群的过程只与宽表交互，避免了用户直接申请所有上游数据表权限的问题 数据解耦 人群创建语句涉及多张Hive数据表，当数据表名称或者列名称变更时，需要修改所有包含该标签的人群创建语句。 为了解决以上问题，可以通过如图5-6所示的分组方案生成画像宽表。 图5-6中采用了分治的思路逐层生成画像宽表。
1.7K20编辑于 2023-10-16 - 来自专栏张叔叔讲互联网
画像平台人群创建方式-明细行为圈选
虽然画像数据是浓缩精简后的核心数据，但在很多人群圈选场景中依赖行为明细数据，比如运营人员希望找出2022-08-15 10:00:00到2022-08-15 12:00:00之间通过手机客户端点赞了某篇文章的用户
1.5K40编辑于 2023-10-21 - 来自专栏月亮与二进制
Xcode 6之后创建PCH文件引创建PCH文件
在Xcode 6之前，创建工程的时候会自动生成一个PCH文件，我们直接在里面写内容就可以了。但是在Xcode 6以及之后的版本中，苹果取消了这一自动生成的过程。 创建PCH文件 创建PCH文件很简单，command+N，选择iOS下的Other-->PCH File，创建PCH文件，命名就命名为"工程名-Prefix"后缀“.pch”会自动生成的。
1.6K20发布于 2021-11-23 - 来自专栏Devops专栏
6. Django 2.1.7 创建项目
安装Django 2.1.7 pip3 install django==2.1.7 示例 创建项目的名称为mysite，完成"资产-中间件"信息的维护，创建应用名称为assetinfo。 / 可以看到已经创建好了mysite项目目录。 可以看到项目已经自动创建了不少目录了，其中里面存在了一个mysite的文件夹。 用于开发的简易服务器¶[2] 让我们来确认一下你的 Django 项目是否真的创建成功了。 创建应用的命令如下：python3 manage.py startapp assetinfo 可以看到，执行命令之后，就创建了一个应用名的文件夹，并自动生成了相关文件，下面对文件说明如下： _init.py
1K10编辑于 2022-01-17 - 来自专栏机器学习、深度学习
人群密度估计
Counting Varying Density Crowds Through Attention Guided Detection and Density Estimation CVPR2018 本文针对人群密度问题 将 检测方法和回归方法结合到一起，以此来提升人群密度估计精度 人群密度估计问题目前主要的方法有基于检测的和基于回归的方法。 在人群密度小的时候，基于检测的方法效果更好。在人群密度较大的时候，基于回归方法的效果比较好。 ? ? 本文的思路就是将 检测方法和回归方法结合起来，各取所长。
1.5K40发布于 2019-05-26 - 来自专栏机器学习/数据可视化
6种方式创建多层索引
6种方式创建多层索引MultiIndex pd.MultiIndex即具有多个层次的索引。通过多层次索引，我们就可以操作整个索引组的数据。 本文主要介绍在Pandas中创建多层索引的6种方式： pd.MultiIndex.from_arrays()：多维数组作为参数，高维指定高层索引，低维指定低层索引。 pd.MultiIndex.from_product()：一个可迭代对象的列表作为参数，根据多个可迭代对象元素的笛卡尔积（元素间的两两组合）进行创建索引。 = pd.MultiIndex.from_arrays(array6,names=["姓名","性别","年龄"]) m6 Out[8]: MultiIndex([('xiaoming', 'male , '年龄'] # 指定名字 ) pd.MultiIndex.from_product() 使用可迭代对象的列表作为参数，根据多个可迭代对象元素的笛卡尔积（元素间的两两组合）进行创建索引
77620编辑于 2023-08-23 - 来自专栏用户画像
相似人群画像算法
一、数据源 1、相似人群数据存在TDW库中，数据字典说明： CREATE TABLE sim_people_tdw_tbl( uid STRING COMMENT 'reader id', ', update_date STRING COMMENT 'update_date' ) 字段 类型 含义 uid string 用户标识 sim_uids string 与uid喜好相似的人群 utf-8") sys.path.append("../") from utils import mongoUtils, confUtils decimal.getcontext().prec = 6 相似人群字典表 :return: 相似度最高的相似人群 """ user_similarity_list = sorted(cluster_dic.iteritems(), key : 相似人群的相似度字典表 :return: 相似人群画像字典表 """ cluster_profile_rs = {} for sim_user_obj in sim_users_profile_array
2.6K61发布于 2018-07-19 - 来自专栏机器学习、深度学习
人群密度估计
该网络在几个常用的公开人群密度估计数据库上取得了不错的效果。 1 Introduction 拥挤场景解析的发展从简单的人群数值估计到 人群密度图估计，人群密度图可以提供额外的信息，因为同样数量的人可以分布在不同的位置，如下图所示 ? 生成准确的人群分布图挑战性比较大，其中一个主要的困难就是离散化的问题，人在图像中不是只占用一个像素，密度图需要保持局部邻域的连续性。其他的困难包括场景的多样性，相机角度的多样性。 以前基于CNN网络的人群密度估计主要采用了 multi-scale architectures，虽然取得了不错的性能，但是存在两个问题：当网络变深的时候， the large amount of training 人群密度估计从方法上来说可以分为三大类：detection-based methods, regression-based methods, and density estimation-based methods
1.7K30发布于 2019-05-26 - 来自专栏机器学习、深度学习
人群分析、人群计数 开源代码文献及数据库
Scale-adaptive Convolutional Nerual Network https://github.com/miao0913/SaCNN-CrowdCounting-Tencent_Youtu 人群分析 Towards perspective-free object counting with deep learning ECCV2016 https://github.com/gramuah/ccnn 人群计数 Density Estimation for Crowd Counting AVSS 2017 https://github.com/svishwa/crowdcount-cascaded-mtl 人群计数 /hosseinm/med Panic，Fight，Congestion，Obstacle ，Neutral 人群异常检测 Anomaly Detection and Localization in Crowded Scenes 数据库 http://www.svcl.ucsd.edu/projects/anomaly/ 人群分析 Deep Spatio-Temporal Residual
2.1K70发布于 2018-01-03 - 来自专栏iSharkFly
Confluence 6 创建-使用-删除快捷链接
创建快捷链接 如何创建一个快捷键链接： 在屏幕的右上角单击 控制台按钮 ? ，然后选择 General Configuration 链接。 https://www.cwiki.us/display/CONF6ZH/Configuring+Shortcut+Links
2K10发布于 2019-01-30 - 来自专栏技术杂记
使用XtraBackup创建mysql slave6
再次尝试备份master数据库 [root@master-qa ~]# /usr/bin/innobackupex --defaults-file=/etc/my.cnf --user=root --password=xxxxxxx /data/fullbackup/ InnoDB Backup Utility v1.5.1-xtrabackup; Copyright 2003, 2009 Innobase Oy and Percona LLC and/or its affiliates 2009-2
58810编辑于 2022-05-04 - 来自专栏张叔叔讲互联网
人群数据如何对外输出
人群创建成功后会存储在Hive表和OSS中，画像平台用户有时需要拉取人群数据并应用到一些业务中。 比如用户希望在Push平台上针对指定人群下的所有用户推送消息，此时可以使用画像平台接口拉取人群数据；在七夕活动中，运营人员投放使用了多个人群，为了分析不同人群的转化效果，此时需要将人群结果的Hive表提供给数据分析师使用 获取人群基本信息接口主要用于查询人群基本信息，其中包括人群名称、用户数量、人群状态、创建者、创建规则等，该接口可以使用缓存来提高接口性能。 当业务方需要感知人群状态变化时，可以定期调用人群基本信息接口，对比人群前后状态就可以知道人群状态是否变更。比如在Push平台上置了一个定时更新人群，当人群数据更新后需要再次给人群下的用户推送消息。 此时Push侧需要及时感知人群状态变化，当发现人群重新创建成功后再次进行Push操作。
72150编辑于 2023-10-23 - 来自专栏机器学习AI算法工程
受众行为分析与人群定向
“物以类聚，人以群分”这句古语不仅揭示了物与人的自组织趋向，更隐含了“聚类”和“人群”之间的内在联系。 例如在现代数字广告投放系统中，最为关键的“人群定向”功能正是通过“聚类”算法得以实现的。 明白了这一点，也就触摸到了人群定向的天花板–不可能百分之百精准。 如何从广泛的受众中提炼目标人群呢? 正是依靠受众行为分析。 下面我们以易传媒的广告投放算法为例，浅析一下怎样由预先标注的关键词标签，一步步建立完整的受众行为分析模型，挖掘出具有相似行为特征的人群，提炼人群的属性特征，最终进行最合适的广告投放的。 人群定向投放 作为人群定向广告正式投放前的最后一步，受众聚类和结构化的人群分类将进行匹配映射。这种映射是利用二者标签集合的重合度来实现的。 根据第一节所述关键词模型的优势，它至少有如下两个用途： （1）当一个投放策略的人群定向选择了”奢侈品”或者”汽车”时，广告允许被指定投放给受众聚类φ所包含的Cookies. （2）利用两个标签在一个细分人群中的内在关联性
2.5K70发布于 2018-03-14 - 来自专栏机器学习、深度学习
人群计数--Mixture of Counting CNNs
of CNNs Specialized to Specific Appearance for Crowd Counting https://arxiv.org/abs/1703.09393 本文是人群计数的 ，不是人群密度估计。 这里主要的思路是针对不同场景的 scale and congestion 造成图像块的 Appearance 差别很大，这里我们使用多个小 CNN 来估计总人群。 另外适应一个大点的 CNN 对 图像块进行分类，这种分类主要依据人群密度大小。类别的概率作为每个小 CNN 的权重。 Appearance 的差异性 ?
71370发布于 2018-01-03 选址、调研所需周边人群画像怎么获取？区域人群画像分布API接入指南！
在传统商业决策中，有多少资源因“目标人群”画像模糊而被浪费？多少营销活动因缺乏精准人群触达而效果不佳？多少市场调研因无法获取核心客群画像数据，导致策略偏离实际？ 此外，你还能选择10类人群，获取其11类画像数据，涵盖基础画像（如年龄、性别）和各种偏好画像（如消费、兴趣），全面覆盖人群分析所需维度。 API获取指南及应用案例这个API主要来源是一个新上线的数据开放平台，提供很多人群、客流类 API（人群热力图、人群画像、客流趋势、客流画像等），比较小众，但包含的API还是很实用的。 location": "113.943,22.535", "data_type": 1})headers = { 'token': '5b139c8cd617c24965401965a9fdc6e3 若您的业务也需构建人群画像、区域洞察或客流分析等能力，“区域人群画像分布API”将是理想选择。
34410编辑于 2025-10-17- 来自专栏iSharkFly
Confluence 6 创建小组的公众空间 原
现在是我们可以开始创建公众空间的时候了，全世界都希望知道这个项目和勇敢的探险活动。 在这个步骤中，我们将会创建一个项目小组的空间，并且将这个空间公布给全世界。 创建一个小组空间 在顶部选择 空间（Spaces ）> 创建空间（Create space） 选择 小组空间（Team Space）然后单击 下一步（Next） 输入一个 空间的名字（Space name 每一个你创建的空间都会有一个自己的博客页面。你的社交媒体成员可以直接粘贴博客和与粉丝进行互动。但是请注意，现在你的粉丝还不能查看这个空间的内容。 https://www.cwiki.us/display/CONF6ZH/Create+the+team%27s+PR+space
60230发布于 2019-01-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号