- 综合排序
- 最热优先
- 最新优先
- 来自专栏张叔叔讲互联网
画像平台人群创建方式-导入人群创建
导入人群是将外部数据导入画像平台构建人群，主要有3种实现方式：文件导入、Hive表导入和SQL导入。 图5-20展示了3种导入人群的可视化配置页面。 与Hive导入人群方式不同，文件导入优先生成人群BitMap，之后再通过BitMapToHive过程写入到人群结果Hive表中。 导入人群是画像平台最常用的人群创建方式之一，其实现了将各类数据源沉淀为人群的功能，支持更灵活的人群创建方式，拓展了画像平台数据范围。 比如运营人员将某次活动中表现良好的用户导入画像平台并构建成人群，后续可以进行广告投放或者人群分析；数据分析师离线统计出了一批高价值用户，导入平台构建人群后可以直接提供给业务使用。
90610编辑于 2023-10-19 - 来自专栏生信技能树
把maf格式的somatic突变数据导入annovar去除人群频率变异
首先，被千人基因组计划的人群频率0.05过滤掉的坐标拿出来： perl -alne '{print if $F[1]>0.05}' tmp.hg38_ALL.sites.2015_08_dropped /human_brca_all_mutect2.maf |perl -alne '{if(/^1000/){$h{"$F[2]\t$F[3]"}=1}else{print unless exists $ filter_by_exac03.pos cat filter_by_exac03.pos filter_by_1000g.maf |perl -alne '{if(/^exac03/){$h{"$F[2]\t$F[3] cat filter_by_gnomad.pos filter_by_1000g_exac03.maf|perl -alne '{if(/^gnomad_genome/){$h{"$F[2]\t$F[3]
2.3K20发布于 2018-09-21 - 来自专栏张叔叔讲互联网
人群LookALike以及挖掘人群的创建思路
人群LookALike是给定种子人群，然后通过技术手段找到与该种子人群相似的用户群体。 图5-26展示了基于向量求LookALike人群的主要流程。图片基于种子人群特征分布计算相似人群。 图片基于分类算法计算相似人群。把种子人群当作正样本，其他非种子人群（或者其他人群）当作负样本，通过训练分类模型计算出满足条件的用户并构建目标人群。 目前也有利用社交网络进行人群LookALike的实践方案，通过好友关系找到种子人群中所有用户的几度好友并构建目标人群。挖掘人群是指定优化目标，借助算法能力找到满足要求的用户并构建人群。 人群挖掘的思路是先找到训练样本（种子人群），然后通过LookALike的思路扩展种子人群。该方式与人群LookALike不同的是，人群挖掘的结果中可以包含种子人群中的用户数据。
1.9K30编辑于 2023-10-22 - 来自专栏张叔叔讲互联网
画像平台人群创建方式-规则人群创建
前两种执行方式生产的人群会优先产出BitMap并存储到OSS中，第三种方式生成的人群数据直接存储在Hive表中。为了实现人群数据的持久化存储和便捷的接口调用，人群数据最终会存储在Hive表和OSS中。 Hive表中的人群数据主要用于离线数据分析场景，很多业务使用人群之后需要通过人群结果表进行效果分析。图5-13展示了人群结果表的表结构设计，人群crowd_id作为分区键，分区下包含该人群所有用户。 OSS中的人群数据主要应用在通过接口获取人群数据的场景下。人群数据压缩为BitMap并存储到OSS中，一亿人群大小在100M左右，通过接口可以在几秒内获取到人群结果。 批量读取Hive表中数据，在内存中构建BitMap后存储到OSS中；BitMapToHive需要将内存中的数据快速写入Hive表，主要分为写入本地文件、上传到HDFS以及加载成Hive表三个步骤，该过程与第3章中通过文件导入创建标签类似 相关代码和步骤本章不再赘述，可以参考第3章中对应内容。----本文节选自《用户画像：平台构建与业务实践》，转载请注明出处。
2K00编辑于 2023-10-18 - 来自专栏技术杂记
Elasticsearch 批量导入数据3
时百思不得其解，已经反复确认了数据格式无误，并且随机选取其中一些进行导入测试也没发现问题，但只要整体一导就出问题，而且每次都一样 [root@es-bulk tmp]# free -m es_data.json > es_data2.json [root@es-bulk tmp]# sed -rn '500001,750000p' es_data.json > es_data3. es-bulk tmp]# [root@es-bulk tmp]# du -sh es_data*.json 71M es_data1.json 68M es_data2.json 71M es_data3. 再依次进行导入，就发现没问题了 [root@es-bulk tmp]# time curl -XPOST 'localhost:9200/stuff_orders/_bulk? sed -rn '250001,500000p' es_data.json > es_data2.json sed -rn '500001,750000p' es_data.json > es_data3.
99460发布于 2021-12-02 - 来自专栏大数据智能实战
基于C3Framework开源人群计数框架的测试
C3Framework是一个开源的人群计数框架，在进行代码复现的时候，进行单张图片的测试。 1. C3Framework中的算法 根据官网介绍，在该框架中集成了若干个模型，其中有些模型的复现效果并没有论文上来得好。 Method WE UCF50 MCNN (RGB Image) TBD TBD AlexNet (conv5) TBD TBD VGG-16 (conv4_3) TBD TBD VGG-16 (conv4 _3)+decoder TBD TBD ResNet-50 (layer3) TBD TBD ResNet-101 (layer3) TBD TBD CSRNet TBD TBD SANet TBD TBD C3Framework中的算法测试 撰写单个图片的测试代码如下，在该代码中同时进行了MAE和MSE的计算。 ? 以数据集中的第一张图片来测试： ? 其原始的人群密度图如下： ?
90120发布于 2019-08-01 - 来自专栏python前行者
python3无法导入cPickle
python3中cPickle模块已经更名为_pickle,所以在python3中导入时可以使用： import _pickle as cPickle cPickle 是 python2 的库，到 python3 ，改名为 pickle 了 import pickle 在python3中，直接使用pickle模块更为方便。
3.1K30发布于 2019-03-25 - 来自专栏机器学习/数据可视化
sqoop之旅3-数据导入
sqoop-import introduction 导入的主要语法是 $ sqoop import (generic-args) (import-args) $ sqoop-import (generic-args HDFS目录) --fields-terminal-by \ (分隔符，默认是逗号) -m [--num-mappers] (MR任务数量，控制导入并行度) ---- Connecting to import --connect jdbc:mysql://database.example.com/employees \ --username root --password 12345 # 3. 默认是通过—table参数导入表中的全部数据； 不仅可以是表，也可以是视图、或者其他类似表的结构 默认导入的属性顺序和原来的相同，但是可以人为的指定属性顺序 可以带上where条件，使用查询语句 # 带上 sqoop默认使用的是jdbc 作为导入通道，可以根据数据库进行修改，进行提速，比如MySQL使用mysqldump sqoop默认是将数据导入到当前用户的foo目录下 --target-dir和--warehouse-dir
1.2K10发布于 2021-03-02 - 来自专栏python3
python3 导入本地 package
然后在终端中或者在 Jupyter notebook里面运行的时候，又会报错： ImportError:No module named XXX 参考问题描述Relative imports in Python 3. 具体的解决办法是： 使用绝对导入的方法 在导入local package， 加一个 空的__init__.py文件 from __future__ import absolute_import import
78910发布于 2020-01-14 - 来自专栏python3
Python3导入Asprise Ocr
Asprise_Python的官网网页 http://asprise.com/ocr/docs/html/asprise-ocr-package-dev-python.html 不过使用以下命令安装asprise之后，发现导入 好像在ocr_app模块中也有一处导入语句要修改。 最终输入asprise_ocr后启动一个demo程序，自动下载了Asprise 的Python动态链接库。
1.1K10发布于 2020-01-03 - 来自专栏python3
python3导入paramiko模块
推荐的方式得到Paramiko是安装最新的稳定版本通过PIP： $ pip install paramiko 注： 安装多个python版本的环境，使用下面的安装指令： C:\>python3 -m pip install paramiko Windows环境 3代表python版本 目前支持Python 2.6，2.7，3.3，和PyPy。
1.8K30发布于 2020-01-03 - 来自专栏机器学习、深度学习
人群密度估计
Counting Varying Density Crowds Through Attention Guided Detection and Density Estimation CVPR2018 本文针对人群密度问题 将 检测方法和回归方法结合到一起，以此来提升人群密度估计精度 人群密度估计问题目前主要的方法有基于检测的和基于回归的方法。 在人群密度小的时候，基于检测的方法效果更好。在人群密度较大的时候，基于回归方法的效果比较好。 ? ? 本文的思路就是将 检测方法和回归方法结合起来，各取所长。
1.5K40发布于 2019-05-26 - 来自专栏用户画像
相似人群画像算法
一、数据源 1、相似人群数据存在TDW库中，数据字典说明： CREATE TABLE sim_people_tdw_tbl( uid STRING COMMENT 'reader id', 维度含义依次为一级分类、二级分类、关键字、topic、阅读来源 negative 负画像（不喜欢），其他字段的含义与正画像一样 update_time 更新时间 cityCode或city 城市编码 3、 相似人群字典表 :return: 相似度最高的相似人群 """ user_similarity_list = sorted(cluster_dic.iteritems(), key cluster_dimension_feature:群画像某个维度的特征 :param user_dimension:用户某个维度的特征 :param ratio:user的权重，公式为相似度/（相似度+10），区间为（1/3， : 相似人群的相似度字典表 :return: 相似人群画像字典表 """ cluster_profile_rs = {} for sim_user_obj in sim_users_profile_array
2.6K61发布于 2018-07-19 - 来自专栏python3
FLEX3里如何导入FLASH CS3
FLEX BUILDER 3 里如何使用FLASH CS 3 里的fl组件 软件环境：FLEX 3 Pro 版 1. 打开FLEX3 ，新建一个AS工程，步骤如下图： ? 2. 3. 先测试一下，能不能使用FL包里的东西，比如说我想导入button组件，如下图： ? 4. 下面设置如何导入FL包的文件。 导入到FLEX3里如下图，右键单击建立的项目，选择属性，找到ActionScriptBuildPath一项，选择LibraryPath如下图： ? 6．找到自己下载的SWC文件的所在地,点击OK按钮，完成导入，下面测试一下： ? 7.Ok,完成导入，以后就可以在FLEX3里很好的使用FLASH CS3 里的组件了，呵呵！
67720发布于 2020-01-07 - 来自专栏YoungGy
HIVE入门_3_数据导入导出
数据导出方式 导出到本地文件系统 导出到HDFS上 导出到HIVE的另一个表中 数据导入方式 从本地文件导入 从HDFS上导入 创建表后从别的表查询出的相应数据导入 创建表的时候通过别的表查询记录插入 从本地文件导入 hive> create table wyp > (id int, name string, > age int, tel string) > ROW FORMAT 从本地文件系统将数据导入到HIVE表的过程中，其实是现将数据临时复制到HDFS下面的一个目录，然后再将数据从临时目录下移动到对应HIVE表的数据目录中。 和本地文件系统导入的区别只是是否有inpath。 insert into table test > partition(age) > select id, name, tel, age > insert into table test3
1.5K50发布于 2018-01-02 - 来自专栏python3
GNS3配置导入和导出
第一个是导出，第二个是导入。 导入时在设备右键打开startconfig，选择要导入的配置文件
1.7K10发布于 2020-01-08 - 来自专栏Hank’s Blog
报错：python3 geohash 导入错误
方法一：pip3 install python-geohash 方法二： 1.安装 pip3 install geohash 2.进入包的下载目录 /usr/local/lib/python3.5/ dist-packages 3.mv Geohash geohash 4.cd geohash 修改__init__.py文件from geohash import decode_exactly, decode
1.7K10发布于 2020-09-17 - 来自专栏Java
Vue3导入element-ui
Vue3导入element-ui 本文讲解，vue3如何导入element-ui。 首先在终端里面运行命令npm install element-plus --save.
59710编辑于 2025-01-21 - 来自专栏机器学习、深度学习
人群密度估计
该网络在几个常用的公开人群密度估计数据库上取得了不错的效果。 1 Introduction 拥挤场景解析的发展从简单的人群数值估计到 人群密度图估计，人群密度图可以提供额外的信息，因为同样数量的人可以分布在不同的位置，如下图所示 ? 生成准确的人群分布图挑战性比较大，其中一个主要的困难就是离散化的问题，人在图像中不是只占用一个像素，密度图需要保持局部邻域的连续性。其他的困难包括场景的多样性，相机角度的多样性。 (MCNN) 的架构，我们观察到这种结构存在几个问题： 1）Multi-column CNNs 比较难训练 2）Multi-column CNNs 引入了冗余的网络结构，如表1 所示 3） density level classifier ，这样计算量比较大 4） 这些网络用了很大一部分参数用于 density level classification，用于密度图估计的参数占小部分 3
1.7K30发布于 2019-05-26 - 来自专栏机器学习、深度学习
人群分析、人群计数 开源代码文献及数据库
Scale-adaptive Convolutional Nerual Network https://github.com/miao0913/SaCNN-CrowdCounting-Tencent_Youtu 人群分析 Towards perspective-free object counting with deep learning ECCV2016 https://github.com/gramuah/ccnn 人群计数 Density Estimation for Crowd Counting AVSS 2017 https://github.com/svishwa/crowdcount-cascaded-mtl 人群计数 /hosseinm/med Panic，Fight，Congestion，Obstacle ，Neutral 人群异常检测 Anomaly Detection and Localization in Crowded Scenes 数据库 http://www.svcl.ucsd.edu/projects/anomaly/ 人群分析 Deep Spatio-Temporal Residual
2.1K70发布于 2018-01-03
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号