首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏张叔叔讲互联网

    画像平台人群创建方式-导入人群创建

    导入人群是将外部数据导入画像平台构建人群,主要有3种实现方式:文件导入、Hive表导入和SQL导入。 Hive导入和SQL导入方式创建的人群数据直接存储到Hive表中,后续需要通过HiveToBitmap将人群数据写入BitMap并存储在OSS中。 与Hive导入人群方式不同,文件导入优先生成人群BitMap,之后再通过BitMapToHive过程写入到人群结果Hive表中。 导入人群是画像平台最常用的人群创建方式之一,其实现了将各类数据源沉淀为人群的功能,支持更灵活的人群创建方式,拓展了画像平台数据范围。 比如运营人员将某次活动中表现良好的用户导入画像平台并构建成人群,后续可以进行广告投放或者人群分析;数据分析师离线统计出了一批高价值用户,导入平台构建人群后可以直接提供给业务使用。

    90610编辑于 2023-10-19
  • 来自专栏生信技能树

    把maf格式的somatic突变数据导入annovar去除人群频率变异

    首先,被千人基因组计划的人群频率0.05过滤掉的坐标拿出来: perl -alne '{print if $F[1]>0.05}' tmp.hg38_ALL.sites.2015_08_dropped

    2.3K20发布于 2018-09-21
  • 来自专栏张叔叔讲互联网

    人群LookALike以及挖掘人群的创建思路

    人群LookALike是给定种子人群,然后通过技术手段找到与该种子人群相似的用户群体。 图5-26展示了基于向量求LookALike人群的主要流程。图片基于种子人群特征分布计算相似人群。 图片基于分类算法计算相似人群。把种子人群当作正样本,其他非种子人群(或者其他人群)当作负样本,通过训练分类模型计算出满足条件的用户并构建目标人群。 目前也有利用社交网络进行人群LookALike的实践方案,通过好友关系找到种子人群中所有用户的几度好友并构建目标人群。挖掘人群是指定优化目标,借助算法能力找到满足要求的用户并构建人群人群挖掘的思路是先找到训练样本(种子人群),然后通过LookALike的思路扩展种子人群。该方式与人群LookALike不同的是,人群挖掘的结果中可以包含种子人群中的用户数据。

    1.9K30编辑于 2023-10-22
  • 来自专栏张叔叔讲互联网

    画像平台人群创建方式-规则人群创建

    ,同理,人群圈选条件最终转换为Hive SQL语句并最终将执行结果构建为人群。 前两种执行方式生产的人群会优先产出BitMap并存储到OSS中,第三种方式生成的人群数据直接存储在Hive表中。为了实现人群数据的持久化存储和便捷的接口调用,人群数据最终会存储在Hive表和OSS中。 Hive表中的人群数据主要用于离线数据分析场景,很多业务使用人群之后需要通过人群结果表进行效果分析。图5-13展示了人群结果表的表结构设计,人群crowd_id作为分区键,分区下包含该人群所有用户。 OSS中的人群数据主要应用在通过接口获取人群数据的场景下。人群数据压缩为BitMap并存储到OSS中,一亿人群大小在100M左右,通过接口可以在几秒内获取到人群结果。 表中数据,在内存中构建BitMap后存储到OSS中;BitMapToHive需要将内存中的数据快速写入Hive表,主要分为写入本地文件、上传到HDFS以及加载成Hive表三个步骤,该过程与第3章中通过文件导入创建标签类似

    2K00编辑于 2023-10-18
  • 来自专栏小鑫同学编程历险记

    ES6模块导出&导入

    age: 18 } export { data } 默认导出 const types = ['java','python','js'] export default types 直接导入 /model' 修改导入名称 import {data as list} from './model' 批量导入 import * as model from '.

    61820编辑于 2022-12-24
  • 来自专栏iSharkFly

    Confluence 6 数据导入和导出 原

    Confluence 管理员和用户可以从各种方法向  Confluence 中导入数据。针对不同的导入方式,有关权限的要求也是不相同的。 https://www.cwiki.us/display/CONF6ZH/Data+Import+and+Export

    1.8K30发布于 2019-01-30
  • 来自专栏Swift社区

    Swift 6导入语句上的访问级别

    此提案引入了两个功能标志后面的更改,这两个功能标志将在 Swift 6 中默认启用:AccessLevelOnImport:这是一个已经可用的实验性功能标志,允许开发人员将导入声明标记为访问级别。 InternalImportsByDefault:这是一个即将推出的功能标志,目前尚不可用,它将导入语句的隐式访问级别从 public 更改为 internal,就像 Swift 6 将要做的那样。 这就是 Swift 6 的功能派上用场的地方。 总结该文章介绍了 Swift 6 中关于导入声明访问级别的新功能。SE-0409 提案引入了此功能,允许开发人员使用任何可用的访问级别标记导入声明,从而限制了导入的符号在哪些类型或接口中可以使用。 这项功能通过两个功能标志实现,即 AccessLevelOnImport 和 InternalImportsByDefault,它们将在 Swift 6 中默认启用。

    1.3K22编辑于 2024-06-30
  • 来自专栏iSharkFly

    Confluence 6 导入一个 Confluence 站点

    有下面 2 种类方法可以导入一个站点 - 通过上传一个文件或者从你 Confluence 服务器上读取一个目录。上传文件仅仅是针对一个小站点的情况。 为了取得最好的导入结果,我们推荐你从服务器上的目录上进行恢复。 希望删除和导入一个小站点: 进入 ?   从恢复目录中导入一个站点: 拷贝你的导出文件到 <confluence-home>/restore. 在导入数据的过程中,重构索引是一个选项。 你需要停止 Synchrony completley,同时我们推荐只有在 Confluence 一个节点运行的时候导入数据,同时将网站访问的数据不要导向到这个节点。

    85460发布于 2019-01-31
  • 来自专栏哆哆Excel

    Tp6之PhpspreadSheet学习(3)导入Excel导入mysql数据库

    Thinkphp6之PhpspreadSheet学习(3)导入Excel导入mysql数据库 使用PhpSpreadsheet将Excel导入到MySQL数据库 一.在数据库中建立数据表 首先我们需要准备一张 int(11) unsigned NOT NULL AUTO_INCREMENT, `name` varchar(32) NOT NULL COMMENT '姓名', `chinese` int(6) NOT NULL DEFAULT '0' COMMENT '语文', `maths` int(6) NOT NULL DEFAULT '0' COMMENT '数学', `english` int (6) NOT NULL DEFAULT '0' COMMENT '外语', PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT

    5.3K20编辑于 2022-10-25
  • 来自专栏机器学习、深度学习

    人群密度估计

    Counting Varying Density Crowds Through Attention Guided Detection and Density Estimation CVPR2018 本文针对人群密度问题 将 检测方法和回归方法结合到一起,以此来提升人群密度估计精度 人群密度估计问题目前主要的方法有基于检测的和基于回归的方法。 在人群密度小的时候,基于检测的方法效果更好。在人群密度较大的时候,基于回归方法的效果比较好。 ? ? 本文的思路就是将 检测方法和回归方法结合起来,各取所长。

    1.5K40发布于 2019-05-26
  • 来自专栏cwl_Java

    快速学习ES6-索引库数据导入

    1.索引库数据导入 昨天我们学习了Elasticsearch的基本应用。今天就学以致用,搭建搜索微服务,实现搜索功能。 1.1.创建搜索服务 创建module: ? ? Pom文件: <? 例如:我们在specs中存储 内存:4G,6G,颜色为红色,转为json就是: { "specs":{ "内存":[4G,6G], "颜色":"红色" } } 当存储到索引库时,elasticsearch会处理为两个字段: specs.内存:[4G,6G] specs.颜色:红色 另外, 对于字符串类型,还会额外存储一个字段,这个字段不会分词, 1.4.导入数据 导入数据只做一次,以后的更新删除等操作通过消息队列来操作索引库 1.4.1.创建GoodsRepository java代码: public interface GoodsRepository 1.4.3.导入数据 导入数据其实就是查询数据,然后把查询到的Spu转变为Goods来保存,因此我们先编写一个SearchService,然后在里面定义一个方法, 把Spu转为Goods @Service

    88630发布于 2020-02-11
  • sward通关指南(6) - 如何快速导入Confluence数据

    characterEncoding=utf8&useSSL=falseusername有权限连接mysqlDB的用户password有权限连接mysqlDB用户的密码2、confluence数据导入导入 confluence数据登录sward系统,系统设置->集成与开放->confluence导入,点击导入confluence数据并上传confluence的zip包。 按照页面提示依次点击解析文件和导入文件,导入日志中出现导入完成,标志confluence数据已经成功导入sward。​ 解析confluence数据​导入confluence数据查看confluence数据导入成功后,进入知识库页面,可以看到导入的confluence数据。

    16843编辑于 2025-11-21
  • 来自专栏用户画像

    相似人群画像算法

    一、数据源 1、相似人群数据存在TDW库中,数据字典说明: CREATE TABLE sim_people_tdw_tbl( uid STRING COMMENT 'reader id', ', update_date STRING COMMENT 'update_date' ) 字段 类型 含义 uid string 用户标识 sim_uids string 与uid喜好相似的人群 utf-8") sys.path.append("../") from utils import mongoUtils, confUtils decimal.getcontext().prec = 6 相似人群字典表 :return: 相似度最高的相似人群 """ user_similarity_list = sorted(cluster_dic.iteritems(), key : 相似人群的相似度字典表 :return: 相似人群画像字典表 """ cluster_profile_rs = {} for sim_user_obj in sim_users_profile_array

    2.6K61发布于 2018-07-19
  • 来自专栏机器学习、深度学习

    人群密度估计

    该网络在几个常用的公开人群密度估计数据库上取得了不错的效果。 1 Introduction 拥挤场景解析的发展从简单的人群数值估计到 人群密度图估计,人群密度图可以提供额外的信息,因为同样数量的人可以分布在不同的位置,如下图所示 ? 生成准确的人群分布图挑战性比较大,其中一个主要的困难就是离散化的问题,人在图像中不是只占用一个像素,密度图需要保持局部邻域的连续性。其他的困难包括场景的多样性,相机角度的多样性。 以前基于CNN网络的人群密度估计主要采用了 multi-scale architectures,虽然取得了不错的性能,但是存在两个问题:当网络变深的时候, the large amount of training 人群密度估计从方法上来说可以分为三大类:detection-based methods, regression-based methods, and density estimation-based methods

    1.7K30发布于 2019-05-26
  • 来自专栏PowerBI战友联盟

    Power Query 真经 - 第 6 章 - 从Excel导入数据

    这很有意义,因为用户已经看到了想导入的数据,如图 6-2 所示。 图 6-2 数据被直接导入 Power Query 中,打开预览窗口 【注意】 如果将 Power Query 在【应用的步骤】窗口中记录的步骤与 “CSV” 文件中记录的步骤进行比较,会注意到从表导入时 会弹出一个查询【导航】窗口,允许用户选择想导入的内容,如图 6-12 所示。 图 6-14 下钻到 “Sales” 表的位置 结果是,现在可以看到,从外部工作簿中导入的表与从同一工作簿中导入的表的处理方式非常相似,如图 6-15 所示。 图 6-17 从外部工作簿中的命名范围导入 6.2.4 连接到工作表 现在,来尝试导入整个工作表的内容。 转到【查询】导航器,右击 “Excel File” 查询,【引用】。

    19.6K20编辑于 2022-05-17
  • 来自专栏机器学习、深度学习

    人群分析、人群计数 开源代码文献及数据库

    Scale-adaptive Convolutional Nerual Network https://github.com/miao0913/SaCNN-CrowdCounting-Tencent_Youtu 人群分析 Towards perspective-free object counting with deep learning ECCV2016 https://github.com/gramuah/ccnn 人群计数 Density Estimation for Crowd Counting AVSS 2017 https://github.com/svishwa/crowdcount-cascaded-mtl 人群计数 /hosseinm/med Panic,Fight,Congestion,Obstacle ,Neutral 人群异常检测 Anomaly Detection and Localization in Crowded Scenes 数据库 http://www.svcl.ucsd.edu/projects/anomaly/ 人群分析 Deep Spatio-Temporal Residual

    2.1K70发布于 2018-01-03
  • 来自专栏iSharkFly

    Confluence 6 导入 SSL 证书和问题解决

    alias serverCert -file RootCert.crt -keystore $JAVA_HOME/jre/lib/security/cacerts (Linux/Unix/Mac) 导入你的 Services due to PKIX Path Building Failed SSL troubleshooting articles https://www.cwiki.us/display/CONF6ZH

    1.7K40发布于 2019-01-30
  • 来自专栏张叔叔讲互联网

    人群数据如何对外输出

    比如用户希望在Push平台上针对指定人群下的所有用户推送消息,此时可以使用画像平台接口拉取人群数据;在七夕活动中,运营人员投放使用了多个人群,为了分析不同人群的转化效果,此时需要将人群结果的Hive表提供给数据分析师使用 拥有数据表权限的用户理论上可以读取到所有人群下的用户数据,如果部分人群数据比较敏感(比如充值用户人群、日活用户人群),就需要严格控制Hive表的读取权限。 可以通过人群下载等平台功能将人群数据导出到临时Hive表中供业务使用,这样可以避免上述三类问题的发生。对外提供人群数据的服务接口主要有两个:获取人群基本信息接口和获取人群BitMap接口。 获取人群基本信息接口主要用于查询人群基本信息,其中包括人群名称、用户数量、人群状态、创建者、创建规则等,该接口可以使用缓存来提高接口性能。 当业务方需要感知人群状态变化时,可以定期调用人群基本信息接口,对比人群前后状态就可以知道人群状态是否变更。比如在Push平台上置了一个定时更新人群,当人群数据更新后需要再次给人群下的用户推送消息。

    72150编辑于 2023-10-23
  • 来自专栏机器学习AI算法工程

    受众行为分析与人群定向

    “物以类聚,人以群分”这句古语不仅揭示了物与人的自组织趋向,更隐含了“聚类”和“人群”之间的内在联系。 例如在现代数字广告投放系统中,最为关键的“人群定向”功能正是通过“聚类”算法得以实现的。 明白了这一点,也就触摸到了人群定向的天花板–不可能百分之百精准。 如何从广泛的受众中提炼目标人群呢? 正是依靠受众行为分析。 下面我们以易传媒的广告投放算法为例,浅析一下怎样由预先标注的关键词标签,一步步建立完整的受众行为分析模型,挖掘出具有相似行为特征的人群,提炼人群的属性特征,最终进行最合适的广告投放的。 人群定向投放 作为人群定向广告正式投放前的最后一步,受众聚类和结构化的人群分类将进行匹配映射。这种映射是利用二者标签集合的重合度来实现的。 根据第一节所述关键词模型的优势,它至少有如下两个用途: (1)当一个投放策略的人群定向选择了”奢侈品”或者”汽车”时,广告允许被指定投放给受众聚类φ所包含的Cookies. (2)利用两个标签在一个细分人群中的内在关联性

    2.5K70发布于 2018-03-14
  • 来自专栏机器学习、深度学习

    人群计数--Mixture of Counting CNNs

    of CNNs Specialized to Specific Appearance for Crowd Counting https://arxiv.org/abs/1703.09393 本文是人群计数的 ,不是人群密度估计。 这里主要的思路是针对不同场景的 scale and congestion 造成图像块的 Appearance 差别很大,这里我们使用多个小 CNN 来估计总人群。 另外适应一个大点的 CNN 对 图像块进行分类,这种分类主要依据人群密度大小。类别的概率作为每个小 CNN 的权重。 Appearance 的差异性 ?

    71370发布于 2018-01-03
领券