- 综合排序
- 最热优先
- 最新优先
- 来自专栏个人总结系列
基于Spark Graphx实现ID-Mapping
args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder() .appName("id-mapping args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder() .appName("id-mapping
5.4K31发布于 2020-10-16 - 来自专栏大数据成长之路
数据中台OneID：详解ID-Mapping！
… ID-Mapping是大数据分析中非常基本但又关键的环节，ID-Mapping通俗的说就是把几份不同来源的数据，通过各种技术手段识别为同一个对象或主题，例如同一台设备（直接），同一个用户（间接）， ID-Mapping过程中，常遇到的问题及对应方案如下： 用户有多个设备信息。解决方案：定义相关的阈值进行关联。 3、58同城 ID-Mapping 58业务场景丰富，其产品线包含58同城、赶集、安居客、中华英才网、转转、58到家等。 如何将众多数据源串联起来是构建用户画像面临的第一个问题，如下是58构建的ID-Mapping模型图。 03 | id-mapping实现方案 1、id-mapping：按账号优先级 按账号优先级进行id-mapping是最简单的方案，将数据库中的手机号/uid/deviceid等按优先级取一个标识，作为这条数据的用户唯一标识
7.4K11编辑于 2023-04-23 - 来自专栏张叔叔讲互联网
一文读懂：什么是ID-Mapping
ID-Mapping主要用于解决上述问题。ID-Mapping从字面理解就是ID之间的映射，即不同ID之间能够映射关联到一起。 很多公司使用ID-Mapping来打通ID体系，比如阿里巴巴每个业务可以通过淘宝账号打通，腾讯可以借助微信号或者QQ号打通各业务数据，神策数据支持ID-Maping并通过唯一的神策ID来标识用户。 A和B应用间的用户关联到一起，从而实现A和B应用间数据的联通ID-Mapping过程包含用户的标识和映射两个环节，下面将介绍4种常见的ID-Mapping方案，重点介绍如何实现ID间的映射。 方案四：多个应用间的不同ID进行关联以上方案都是针对单个应用的ID-Mapping方案，当存在多个应用并想实现应用间ID映射和数据打通时，可以采用不同应用间的ID关联方案。 以上介绍了4种常见的ID-Mapping方案，随着对用户识别准确度要求的提高，其工程实现复杂度也会提升。业务需要平衡好准确度和工程复杂度，根据自身业务特点选择合适的ID-Mapping方案。
1.1K20编辑于 2023-10-15 - 来自专栏大数据成神之路
基于Hive数据仓库的标签画像实战
用户的属性、行为相关数据分散在不同的数据来源中，通过ID-MApping能够把用户在不同场景下的行为串联起来，消除数据孤岛。下图展示了用户与设备间的多对多关系。 通过ID-MApping打通 userid 和 cookieid 的对应关系，可以在用户登录、未登录设备时都能捕获其行为轨迹。 下面通过一个案例介绍如何通过Hive的ETL工作完成ID-Mapping的数据清洗工作。 缓慢变化维是在维表设计中常见的一种方式，维度并不是不变的，随时间也会发生缓慢变化。 同样，在设计ID-Mapping表时，由于一个用户可以在多个设备上登录，一个设备也能被多个用户登录，所以考虑用缓慢变化维表来记录这种不同时间点的状态变化。 'end_date') COMMENT 'id-map拉链表' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 创建完成后，每天ETL调度将数据更新到ID-Mapping
1.3K30发布于 2021-11-30 - 来自专栏Spark学习技巧
用户画像 | 标签数据存储之Hive真实应用
例如，在画像产品中，输入用户id后通过直接查询该表，解析标签id和对应的标签权重后，即可在前端展示该用户的相关信息 ID-MAP 开发用户标签的时候，有项非常重要的内容——ID-MApping 用户的属性、行为相关数据分散在不同的数据来源中，通过ID-MApping能够把用户在不同场景下的行为串联起来，消除数据孤岛。下图展示了用户与设备间的多对多关系。 通过ID-MApping打通 userid 和 cookieid 的对应关系，可以在用户登录、未登录设备时都能捕获其行为轨迹。 下面通过一个案例介绍如何通过Hive的ETL工作完成ID-Mapping的数据清洗工作。 缓慢变化维是在维表设计中常见的一种方式，维度并不是不变的，随时间也会发生缓慢变化。 同样，在设计ID-Mapping表时，由于一个用户可以在多个设备上登录，一个设备也能被多个用户登录，所以考虑用缓慢变化维表来记录这种不同时间点的状态变化（图3-9）。
1.3K10编辑于 2022-01-13 - 来自专栏Flink实战剖析
Flink去重第四弹：bitmap精确去重
ID-mapping 在使用bitmap去重需要将去重的id转换为一串数字，但是我们去重的通常是一串包含字符的字符串例如设备ID，那么第一步需要将字符串转换为数字，首先可能想到对字符串做hash，但是hash 那么整个转换流程如下图： 首先会从Hbase中查询是否有UID对应的ID，如果有则直接获取，如果没有则会调用ID-Mapping服务，然后将其对应关系存储到Hbase中，最后返回ID至下游处理。
3K10编辑于 2022-04-18 - 来自专栏大数据成长之路
用户画像 | 标签数据存储之Hive真实应用
例如，在画像产品中，输入用户id后通过直接查询该表，解析标签id和对应的标签权重后，即可在前端展示该用户的相关信息 ID-MAP 开发用户标签的时候，有项非常重要的内容——ID-MApping 用户的属性、行为相关数据分散在不同的数据来源中，通过ID-MApping能够把用户在不同场景下的行为串联起来，消除数据孤岛。下图展示了用户与设备间的多对多关系。 通过ID-MApping打通userid和cookieid的对应关系，可以在用户登录、未登录设备时都能捕获其行为轨迹。 下面通过一个案例介绍如何通过Hive的ETL工作完成ID-Mapping的数据清洗工作。 缓慢变化维是在维表设计中常见的一种方式，维度并不是不变的，随时间也会发生缓慢变化。 同样，在设计ID-Mapping表时，由于一个用户可以在多个设备上登录，一个设备也能被多个用户登录，所以考虑用缓慢变化维表来记录这种不同时间点的状态变化（图3-9）。
2.3K20发布于 2021-10-22 - 来自专栏数字化之路
微信生态圈 | 企业微信中登录H5不便？“免密登录”来帮忙！
数据打通可以通过OneID或ID-Mapping来解决。 OneID或ID-Mapping是一种将不同来源的用户标识串联起来，生成一个统一的用户标识的技术。
1.4K30编辑于 2023-10-25 - 来自专栏区块链入门
《用户画像：方法论与工程化解决方案》读书笔记第3章
image.png 3.1.4 ID-MAP 开发用户标签的时候，有项非常重要的内容——ID-MApping，即把用户不同来源的身份标识通过数据手段识别为同一个主体。 用户的属性、行为相关数据分散在不同的数据来源中，通过ID-MApping能够把用户在不同场景下的行为串联起来，消除数据孤岛。图3-7展示了用户与设备间的多对多关系。 通过ID-MApping打通userid和cookieid的对应关系，可以在用户登录、未登录设备时都能捕获其行为轨迹。 下面通过一个案例介绍如何通过Hive的ETL工作完成ID-Mapping的数据清洗工作。 缓慢变化维是在维表设计中常见的一种方式，维度并不是不变的，随时间也会发生缓慢变化。 同样，在设计ID-Mapping表时，由于一个用户可以在多个设备上登录，一个设备也能被多个用户登录，所以考虑用缓慢变化维表来记录这种不同时间点的状态变化（图3-9）。
1.1K20编辑于 2022-05-13 私域流量运营工具：用户资产的核动力引擎
开发者需构建ID-Mapping中枢、内容自动化工厂和实时风控引擎三位一体的技术基座。 开发者亲历：私域系统架构的血泪教训1. 技术基座三支柱实现方案 支柱1：用户资产中枢（ID-Mapping引擎）# 统一用户身份解析服务import identity_resolverclass UserGraph: def __init
22810编辑于 2025-07-22- 来自专栏黄成甲
互联网产品如何建立用户画像？
用户画像的关键技术点 1.IDMapping ID-Mapping是大数据分析中非常基本但又关键的环节，ID-Mapping通俗的说就是把几份不同来源的数据，通过各种技术手段识别为同一个对象或主题，例如同一台设备 一个用户的行为信息、属性数据是分散在很多不同的数据来源的，因此从单个数据来看，都相当于“盲人摸象”，看到的只是这个用户一个片面的画像，而ID-Mapping能把碎片化的数据全部串联起来，消除数据孤岛，提供一个用户的完整信息视图 ID-Mapping有非常多的用处，比如跨屏跟踪和跨设备跟踪，将一个用户的手机、PC、平板等设备的上的行为信息串联到一起。
3K31发布于 2018-09-12 - 来自专栏产品笔记
什么是客户数据平台（CDP）？
使用ID-Mapping将客户数据ID进行动态关联，建立One ID体系，实现全渠道数据融合，并进行数据清洗及沉淀，形成一个全局视图。 2、客户标签构建 帮助企业构建多种标签，实现用户全域标签。
2.2K20编辑于 2022-11-14 - 来自专栏NebulaGraph 技术文章
当金融风控遇上人工智能，众安金融的实时特征平台实践
实时数据核心数据设计由于我们存在多条产品线，每个产品线的用户主键也都不同，而金融业务场景主要是以用户身份证，用户手机号等维度进行特征的查询，因此我们抽象了一套用户实体关系的 ID-Mapping 表，实现了身份证 、手机号等维度到用户主键的关联关系，特征查询时首先会根据特征入参查询 ID-Mapping 表获取用户 ID，然后再根据用户 ID 查询用户业务明细数据，主要的业务明细数据包含用户授信数据、支用明细、还款明细 下图是主要的业务数据图：图片实时特征计算引擎图片早期的特征加工是通过开发人员写代码来实现的，随着特征需求增加，为了支撑特征的快速上线，我们借助表达式语言和 Groovy 实现了一套基于特征计算函数的特征配置化能力，结合 ID-Mapping 实现了一个特征计算引擎，计算过程可以分为如下几步：（1）创建实时 Flink 任务把用户关系数据同步到 ID-Mapping 表，从而支持用户多维数据查询。 （5）特征查询时首先会根据特征查询入参查询 ID-Mapping 表获取用户 ID，然后根据用户 ID 查询 TableStore 里面的用户明细业务数据，特征计算引擎会把根据配置的特征计算表达式进行特征数据查询
1.4K00编辑于 2023-06-28 - 来自专栏个人总结系列
用户画像标签平台技术
=4219c6915c3643b7653d8a3a34b280a9eee68cda] 对于数据建模，可以阅读文章：多维用户行为模型 对于OneId的开发，可以阅读文章：基于Spark Graphx实现ID-Mapping
5.3K00发布于 2020-10-31 酒店行业私域增长引擎与数字化全链路解决方案
ID-Mapping： 融合多触点数据，重新认识客户，生成360°全方位画像。
13810编辑于 2026-02-02- 来自专栏数据中台
地产大数据下一站——数据中台
我们着重了解一下地产行业的数据究竟需要通过哪几步才可以变成真正的数据资产： 数据中台数据总体分为四层： 原始数据层尽可能保留原始全量业务数据，只在汇聚之后进行简单的清洗； 中间数据层保留统一规范的标准业务数据； 标签数据层通过 ID-Mapping
1.2K20发布于 2019-10-22 - 来自专栏Java架构师必看
数据运营平台-数据采集[通俗易懂]
用户数据关联 不同数据源采集的用户数据的关联可采用基于ID-Mapping技术实现id的数据关联。 以阿里的ID-Mapping体系的方案OneData体系为例 2、自行开发 1）基于ID-Mapping用户数据关联实现可总结为以下三种： ①基于账号体系企业中最常用的是基于账号体系来做ID的打通，用户注册时 2）技术实现ID-Mapping ①借助redis a.从日志数据中抽取各种标识id b.将提取出的标识id，去redis标识id库中查询是否存在 c.如果不存在，则新建一个"统一标识"+“id set
6K31编辑于 2022-07-06 - 来自专栏大数据成神之路
用户标签&营销体系的客户数据平台(CDP)建设
具体做法是基于手机号、身份证、邮箱、设备 ID 等信息，结合业务规则、机器学习、图算法等算法，进行 ID-Mapping，将各种 UID 都映射到统一 ID 上。
5.2K51发布于 2021-07-30 - 来自专栏大数据成长之路
用户画像 | 标签数据存储之Elasticsearch真实应用
结合前面几期文章，分别为大家讲解了使用 Hive、MySQL、HBase 和 Elasticsearch 存储标签数据的解决方案，包括：Hive存储数据相关标签表、人群计算表的表结构设计以及ID-Mapping
4.5K21发布于 2021-10-22 - 来自专栏实时计算
用户画像标签体系——从零开始搭建实时用户画像(三)
而两者的关联就是需要ID-Mapping算法来解决，这也是一个非常复杂的算法。更多的时候我们还是以用户的唯一标识来建立用户画像。
5.2K11发布于 2020-05-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号