- 综合排序
- 最热优先
- 最新优先
- 来自专栏张叔叔讲互联网
画像平台人群创建方式-导入人群创建
导入人群是将外部数据导入画像平台构建人群，主要有3种实现方式：文件导入、Hive表导入和SQL导入。 Hive导入和SQL导入方式创建的人群数据直接存储到Hive表中，后续需要通过HiveToBitmap将人群数据写入BitMap并存储在OSS中。 与Hive导入人群方式不同，文件导入优先生成人群BitMap，之后再通过BitMapToHive过程写入到人群结果Hive表中。 导入人群是画像平台最常用的人群创建方式之一，其实现了将各类数据源沉淀为人群的功能，支持更灵活的人群创建方式，拓展了画像平台数据范围。 比如运营人员将某次活动中表现良好的用户导入画像平台并构建成人群，后续可以进行广告投放或者人群分析；数据分析师离线统计出了一批高价值用户，导入平台构建人群后可以直接提供给业务使用。
90610编辑于 2023-10-19 - 来自专栏小七的各种胡思乱想
AB实验人群定向HTE模型4 - Double Machine Learning
Hetergeneous Treatment Effect旨在量化实验对不同人群的差异影响，进而通过人群定向/数值策略的方式进行差异化实验，或者对实验进行调整。
3.8K00发布于 2020-02-18 - 来自专栏生信技能树
把maf格式的somatic突变数据导入annovar去除人群频率变异
首先，被千人基因组计划的人群频率0.05过滤掉的坐标拿出来： perl -alne '{print if $F[1]>0.05}' tmp.hg38_ALL.sites.2015_08_dropped filter_by_1000g.maf |perl -alne '{if(/^exac03/){$h{"$F[2]\t$F[3]"}=1}else{print unless exists $h{"$F[4] 1000g_exac03.maf|perl -alne '{if(/^gnomad_genome/){$h{"$F[2]\t$F[3]"}=1}else{print unless exists $h{"$F[4] 生信技能树GATK4系列教程 GATK4的gvcf流程 你以为的可能不是你以为的 新鲜出炉的GATK4培训教材全套PPT，赶快下载学习吧 曾老湿最新私已：GATK4实战教程 GATK4的CNV流程 sequenza软件判定肿瘤纯度 还有vcf和maf的工具： 安装VEP及其注释数据库 肿瘤突变数据可视化神器-maftools 把vcf文件转换为maf格式，肿瘤外显子上游分析教程到此为止 GATK4的
2.3K20发布于 2018-09-21 - 来自专栏张叔叔讲互联网
人群LookALike以及挖掘人群的创建思路
人群LookALike是给定种子人群，然后通过技术手段找到与该种子人群相似的用户群体。 图5-26展示了基于向量求LookALike人群的主要流程。图片基于种子人群特征分布计算相似人群。 图片基于分类算法计算相似人群。把种子人群当作正样本，其他非种子人群（或者其他人群）当作负样本，通过训练分类模型计算出满足条件的用户并构建目标人群。 目前也有利用社交网络进行人群LookALike的实践方案，通过好友关系找到种子人群中所有用户的几度好友并构建目标人群。挖掘人群是指定优化目标，借助算法能力找到满足要求的用户并构建人群。 人群挖掘的思路是先找到训练样本（种子人群），然后通过LookALike的思路扩展种子人群。该方式与人群LookALike不同的是，人群挖掘的结果中可以包含种子人群中的用户数据。
1.9K30编辑于 2023-10-22 - 来自专栏张叔叔讲互联网
画像平台人群创建方式-规则人群创建
，同理，人群圈选条件最终转换为Hive SQL语句并最终将执行结果构建为人群。 前两种执行方式生产的人群会优先产出BitMap并存储到OSS中，第三种方式生成的人群数据直接存储在Hive表中。为了实现人群数据的持久化存储和便捷的接口调用，人群数据最终会存储在Hive表和OSS中。 Hive表中的人群数据主要用于离线数据分析场景，很多业务使用人群之后需要通过人群结果表进行效果分析。图5-13展示了人群结果表的表结构设计，人群crowd_id作为分区键，分区下包含该人群所有用户。 OSS中的人群数据主要应用在通过接口获取人群数据的场景下。人群数据压缩为BitMap并存储到OSS中，一亿人群大小在100M左右，通过接口可以在几秒内获取到人群结果。 表中数据，在内存中构建BitMap后存储到OSS中；BitMapToHive需要将内存中的数据快速写入Hive表，主要分为写入本地文件、上传到HDFS以及加载成Hive表三个步骤，该过程与第3章中通过文件导入创建标签类似
2K00编辑于 2023-10-18 - 来自专栏全栈程序员必看
UE4导入高度图
UE4导入高度图 查找高度图 使用ps编辑图片 打开虚幻引擎的地形编辑器 查找高度图 可以从百度直接搜索 使用ps编辑图片 下载下来之后图片是jpg格式的，虚幻引擎不能直接用 需要使用ps编辑一下 之后出现一个弹窗，填写自己图片的名字，注意图片的格式只能是png和raw，其他格式ue不支持 打开虚幻引擎的地形编辑器 1.ue4.25的地形在模式下面，勾选地形之后左边才会出现新建地形的选项列表，我们选择从文件导入 2.这个缩放的Z值可以更改地形山峰的锐利度和高度，一半20-40都没问题 点击导入之后就是这样 如果你不改Z值，或者Z值太高，就可能是这样 觉得有用的点个赞呗！！
1.6K10编辑于 2022-09-01 - 来自专栏机器学习/数据可视化
sqoop之旅4-增量导入
） –incremental：用来指定增量导入的模式Mode，分为两种：append和lastmodified **–last-value：**指定上一次导入中检查列指定字段最大值，一般是用时间 2、增量模式 （Model） append：在导入的新数据ID值是连续时采用，对数据进行附加；如果不加lastvalue，则原表中的所有数据都会进行增量导入，导致数据的冗余。 incremental lastmodified --last-value "2019-11-19 16:39:43" # 必须是时间戳或者日期时间类型 --merge-key class_id -m 1 4、 check-column class_id \ --incremental append \ --last-value 7 # 对于check-column来说最大值是7 -m 1 如果不加last-value，导入的是会把原表中的整个数据进行导入 ，出现数据的重复，造成数据的冗余 采用增量导入，必须使用三个参数 check-column incremental last-value lastmodified模式 当导入的目录存在时，需要使用—merge-key
1.2K10发布于 2021-03-02 - 来自专栏分母为零
Neo4j之导入数据
neo4j数据导入 load csv admin-import 或 neo4j-import load csv 适用场景：0 ~ 1000w 速度：一般 5000/s 优点：可以加载本地/远程CSV;可实时插入 缺点:导入速度较慢;需要将数据转换成csv 示例 node.csv b6b0ea842890425588d4d3cfb38139a9,"文烁"5099c4f943d94fa1873165e3f6f3c2fb 导入 . 导入 . 而且，只能在初始化数据时，导入一次之后，就不能再次导入。 所以这种方式，可以在初次建库的时候，导入大批量数据，等以后如果还需要导入数据时，可以采用上边的方法。
1.8K30发布于 2019-07-12 - 来自专栏给永远比拿愉快
Neo4j Spatial数据导入
首先，安装neo4j数据库。我的开发环境是Ubuntu，安装过程参考官网：Neo4j Debian Packages，安装后配置：Post-installation tasks。 然后安装Neo4j Spatial的插件，参加Github介绍：neo4j-contrib/spatial。即把下载的文件解压到安装目录的plugins目录下$NEO4J_HOME/plugins。 dependency> <dependency> <groupId>org.neo4j</groupId> <artifactId>neo4j-spatial > </configuration> </plugin> </plugins> </build> </project> 导入 ; import org.neo4j.graphdb.GraphDatabaseService; import org.neo4j.graphdb.Transaction; import org.neo4j.graphdb.factory.GraphDatabaseFactory
1.4K90发布于 2019-01-22 - 来自专栏知识技术分享
4种导入MySQL 数据的方法
MySQL 导入数据 本章节我们为大家介绍几种简单的 MySQL 导入数据命令。 1、mysql 命令导入 使用 mysql 命令导入语法格式为： mysql -u用户名 -p密码 < 要导入的数据库数据(runoob.sql) 实例： # mysql -uroot - p123456 < runoob.sql 以上命令将将备份的整个数据库 runoob.sql 导入。 2、source 命令导入 source 命令导入数据库需要先登录到数库终端： mysql> create database abc; # 创建数据库 mysql> use abc; TABLE mytbl (b, c, a); 4、使用 mysqlimport 导入数据 mysqlimport 客户端提供了 LOAD DATA INFILEQL 语句的一个命令行接口。
11.2K10编辑于 2021-11-30 - 来自专栏深度学习之tensorflow实战篇
neo4j进阶操作（四）neo4j导入csv，使用load导入csv文件进入neo4j
neo4j如何导入csv，导入关系与节点 常见导入形式对比 CREATE语句 LOAD CSV语句 Batch Inserter Batch Import Neo4j-import 适用场景 1 ~ CSV 需要转成CSV；只能在JAVA中使用；且插入时必须停止neo4j 需要转成CSV；必须停止neo4j 需要转成CSV；必须停止neo4j；只能生成新的数据库，而不能在已存在的数据库中插入数据。 ####采用load 形式导入csv 本文使用的是windows下的neo4j browser，在导入数据之前，需要将EXCEL另存为CSV，如果有多个sheet，则需要分开单独存储 USING PERIODIC 导入成功后的结果： 继续导入： USING PERIODIC COMMIT 10 LOAD CSV FROM "file:///movies.csv" AS line create (a:movies{ 因为neo4j是utf-8的，而CSV默认保存是ANSI的，需要用记事本另存为成UTF-8的 2、如何导入关系 在neo4j中，虽然有一个自增的id属性，但是要想使用它还是很麻烦的，尤其是在web管理端
37.6K3328发布于 2019-01-25 - 来自专栏NebulaGraph 技术文章
从 Neo4j 导入 Nebula Graph 实践见 SPark 数据导入原理
[Neo4j 数据导入实现] 本文主要讲述如何使用数据导入工具 Nebula Graph Exchange 将数据从 Neo4j 导入到 Nebula Graph Database。 接下来介绍一下 Neo4j 数据源导入的具体实现。 Neo4j 数据导入具体实现 虽然 Neo4j 官方提供了可将数据直接导出为 DataFrame 的库，但使用它读取数据难以满足断点续传的需求，我们未直接使用这个库，而是使用 Neo4j 官方的 driver 最后将返回的数据处理成 DataFrame 就完成了 Neo4j 的数据导入。 过程如下图所示： [数据导入过程] Neo4j 数据导入实践 我们这里导入演示的系统环境如下： cpu name：Intel(R) Xeon(R) CPU E5-2697 v3 @ 2.60GHz cpu
3.3K20发布于 2020-09-16 - 来自专栏大数据学习笔记
Neo4J:批量导入neo4j-admin import
-3.5.11]# bin/neo4j status Neo4j is running at pid 25395 [root@elastic1 neo4j-community-3.5.11]# bin/ neo4j stop Stopping Neo4j.. stopped [root@elastic1 neo4j-community-3.5.11]# （2）删除graph.db [root@elastic1 导入命令 bin/neo4j-admin import --mode csv --database=graph.db --nodes:Move . Started neo4j (pid 9605). See /opt/neo4j-community-3.5.11/logs/neo4j.log for current status.
2.3K30发布于 2019-10-22 - 来自专栏机器学习、深度学习
人群密度估计
Counting Varying Density Crowds Through Attention Guided Detection and Density Estimation CVPR2018 本文针对人群密度问题 将 检测方法和回归方法结合到一起，以此来提升人群密度估计精度 人群密度估计问题目前主要的方法有基于检测的和基于回归的方法。 在人群密度小的时候，基于检测的方法效果更好。在人群密度较大的时候，基于回归方法的效果比较好。 ? ? 本文的思路就是将 检测方法和回归方法结合起来，各取所长。 4 Model Learning 这里主要定义了损失函数， 将其定义为 multi-task learning problem ? ? ? ?
1.5K40发布于 2019-05-26 - 来自专栏python3
Python从菜鸟到高手（4）：导入Py
在Python代码中导入模块需要使用import语句，语法结构如下： import module_name 引用模块中函数的语法如下： module_name.function_name 如果在 该语句的语法结构如下： from module_name import function_name 如果要想导入模块中的所有函数，可以将function_name替换成型号（*），这样我们就可以直接使用该模块中的所有函数了 print("import和from...import...演示") # 导入math模块 import math print(math.floor(20.6)) # 导入math模块中的sqrt函数 from math import sqrt print(sqrt(12)) # 导入math模块中的所有函数 from math import * print(sin(3.14/2)) 程序运行结果如下图所示
85910发布于 2020-01-10 - 来自专栏用户画像
相似人群画像算法
一、数据源 1、相似人群数据存在TDW库中，数据字典说明： CREATE TABLE sim_people_tdw_tbl( uid STRING COMMENT 'reader id', ', update_date STRING COMMENT 'update_date' ) 字段 类型 含义 uid string 用户标识 sim_uids string 与uid喜好相似的人群 ，格式为用户编号:相同阅读量，相似用户之间以逗号分隔 sim_num BIGINT 相似人群的人数 update_date string 数据日期 2、基础用户画像存在MongoDB中 Image [ 相似人群字典表 :return: 相似度最高的相似人群 """ user_similarity_list = sorted(cluster_dic.iteritems(), key : 相似人群的相似度字典表 :return: 相似人群画像字典表 """ cluster_profile_rs = {} for sim_user_obj in sim_users_profile_array
2.6K61发布于 2018-07-19 - 来自专栏机器学习、深度学习
人群密度估计
该网络在几个常用的公开人群密度估计数据库上取得了不错的效果。 1 Introduction 拥挤场景解析的发展从简单的人群数值估计到 人群密度图估计，人群密度图可以提供额外的信息，因为同样数量的人可以分布在不同的位置，如下图所示 ? 生成准确的人群分布图挑战性比较大，其中一个主要的困难就是离散化的问题，人在图像中不是只占用一个像素，密度图需要保持局部邻域的连续性。其他的困难包括场景的多样性，相机角度的多样性。 Multi-column CNNs 比较难训练 2）Multi-column CNNs 引入了冗余的网络结构，如表1 所示 3） 需要 density level classifier ，这样计算量比较大 4） 4 Experiments 4.1. Evaluation metrics ? ? ? ? ?
1.7K30发布于 2019-05-26 - 来自专栏素质云笔记
neo4j︱neo4j批量导入neo4j-import （五）
https://blog.csdn.net/sinat_26917383/article/details/82424508 neo4j数据批量导入 1 neo4j基本参数 1.1 启动与关闭 这边重点来说一下官方最快的neo4j-import，使用的前提条件： graph.db需要清空； neo4j需要停掉； 接受CSV导入，而且格式较为固定； 试用场景:首次导入 节点名字需要唯一 比较适用 ： 首次导入，无法迭代更新 来看一下官方案例：Use the Import tool . ---- 1 neo4j基本参数 1.1 启动与关闭： bin\neo4j start bin\neo4j stop --nodes import/actors.csv --relationships import/roles.csv 其中，之前老版本批量导入是：neo4j-import，现在批量导入是：neo4j-admin 2，分块导入。
4.5K41发布于 2019-05-26 - 来自专栏WHYBIGDATA公众号同步文章
批量数据导入Neo4j的方式
批量数据导入Neo4j的方式 1、写在前面 2、前置芝士 3、CSV数据导入Neo4j 3.1 LOAD CSV Cypher命令 3.2 neo4j-admin命令 3.3 Kettle导入工具 4 、数据导入失败 5、参考资料 ---- ---- 1、写在前面 Linux版本：Ubuntu Kylin 16.04 Neo4j版本：Neo4j-3.2.7 2、前置芝士 最常见的数据格式之一是平面文件上的行和列 这一行，即可使用自定义路径导入数据到Neo4j # This setting constrains all `LOAD CSV` import files to be under the `import 3.2 neo4j-admin命令 neo4j-admin批量导入工具：命令行工具，可用于直接加载大型数据集。适用于Neo4j桌面、Neo4j EE Docker镜像和本地安装。 .. 4、数据导入失败 如果，数据文件的路径没有问题之后，那大概率是文件的格式问题，将文件重新保存为utf-8的格式即可。 利用NotePad++或者Sublime Text即可 5、参考资料 neo4j
3.1K30编辑于 2023-01-31 - 来自专栏深度学习之tensorflow实战篇
Neo4j导入CSV文件使用import
数据连接：https://pan.baidu.com/s/1hwMy91DjohZ9yJXcA6GKMQ 放入import目录路径 一、Neo4j默认导入目录路径 neo4j安装根路径下找到import 导入数据 二、Neo4j导入CSV文件 找到neo4j的安装路径，并在D:\neo4j\import放入csv文件，如果目录下没有则创建import目录 完整路径如下D:\neo4j\import 因为 neo4j支持导入csv文件，其默认目录入口是 ... neo4j的数据都是字符串的数据类型，因此，对于一些有特殊要求的字段，我们需要在导入的时候进行类型转换 比如 ? 结果展现 语句一个个执行，最终执行完在neo4j中的的效果如下 ? 展现形式如下： ?
10.2K40发布于 2019-01-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号