- 综合排序
- 最热优先
- 最新优先
- 来自专栏小小挖掘机
推荐系统遇上深度学习(十九)--探秘阿里之完整空间多任务模型ESSM
这一篇，我们将焦点转向CVR的预估，来看一下阿里提出的完整空间多任务模型ESSM是如何处理CVR预估中存在的样本选择偏差(sample selection bias)和数据稀疏(data sparsity 为了解决上面的两个问题，阿里提出了完整空间多任务模型ESSM。下一章，我们将会来学习一下阿里是如何设计整个网络的。 可以看到，ESSM模型由两个子网络组成，左边的子网络用来拟合pCVR，右边的子网络用来拟合pCTR，同时，两个子网络的输出相乘之后可以得到pCTCVR。 2.2 模型特点 ESSM模型共有以下两个主要的特点： 在整个样本空间中进行建模 由上面提到的等式可以看出，pCVR是可以通过pCTR和pCTCVR的预估推导出来的。 可以看到，ESSM模型相比于其他的模型，实验效果显著提升。 3.3 淘宝数据集实验 下图展示了ESMM模型在淘宝生产环境数据集上的测试效果对比： ?
3.5K40发布于 2018-07-25 - 来自专栏腾讯大讲堂的专栏
QQ浏览器：小说召回中的DSSM模型优化实践
1）四塔结构：这里是借鉴ESSM的思想，只共享底层embedding look-up table，上层用两个塔分别训练两个label对应的embedding向量。 多目标loss的不同组合方式：目前我们只采用了简单的线性加权，在确定模型结构后对权重值做微调，但其实这里的花样是很多的，比如用时长作为label的加权，或者ESSM一样的乘积方式等等，这里我们后续也会做更多的尝试
2.1K50发布于 2021-02-01 - 来自专栏NewBeeNLP
知识蒸馏怎么用？召回-粗排篇
在排序中引入多任务预估有很多成熟的算法了，比如MMoE、ESSM、PLE、SNR等，但是把排序中的多任务预估引入召回则不是一件容易的事。 由于点击任务和阅读时长任务的样本空间本来就不一样，所以我们采用ESSM的方法，用“行为序列”点击->转化来建模两个任务。 为了避免selection bias，使用ESSM的方法显式建模CTR和CTCVR（loss也只是对CTR和CTCVR计算），然后隐式的学习CVR。
1.9K30编辑于 2022-06-06 - 来自专栏AI科技时讯
CTR点击率预估论文集锦
(ESSM). Xiao Ma.
1.4K20发布于 2020-09-29 - 来自专栏AI科技大本营的专栏
新技术“红”不过十年，半监督学习为什么是个例外？
Cross-stitch子结构 后来的ESSM跟Cross-stitch有异曲同工之妙，只是将任务的学习方向改为单向：pCVR单向从pCTR中学习，以满足业务上的逻辑因果关系。 ? ESSM学习框架 Multi-Task Learning最近比较有意思的工作，SNR应该算一个，思路主要收到Mixture-of-Expert的启发（Outrageously Large Neural
49320发布于 2019-06-20 - 来自专栏Soul Joy Hub
解读：【美团】智能客服实践
同样的，虽然说是对话管理，但产品形态就像是“业务领域推荐”，==| ： 1.5 问题推荐 进入服务门户时（即还没说话），推荐用户最可能想问的问题， 引导用户精准表达需求： 作者这里采用了ESSM
3K40编辑于 2022-05-10 - 来自专栏小小挖掘机
推荐系统遇上深度学习(二十一)--阶段性回顾
强化学习方法 6、推荐系统的EE问题 6.1 Bandit算法 6.2 LinUCB算法 7、推荐系统在公司中的实战 7.1 阿里MLR算法 7.2 阿里Deep Interest Network 7.3 阿里ESSM 有关DIN的更多细节，参考文章：推荐系统遇上深度学习(十八)--探秘阿里之深度兴趣网络(DIN)浅析及实现 7.3 阿里ESSM模型 该模型主要解决的是CVR预估中的两个主要问题：样本选择偏差和稀疏数据 可以看到，ESSM模型由两个子网络组成，左边的子网络用来拟合pCVR，右边的子网络用来拟合pCTR，同时，两个子网络的输出相乘之后可以得到pCTCVR。 有关ESSM模型的更多细节，参考文章：推荐系统遇上深度学习(十九)--探秘阿里之完整空间多任务模型ESSM 7.4 京东强化学习推荐模型 京东通过强化学习来进行 List-wise 的推荐。 1003.0146.pdf 9、MLR：https://arxiv.org/pdf/1704.05194.pdf 10、DIN：https://arxiv.org/abs/1706.06978 11、ESSM
3.2K30发布于 2018-07-25 - 来自专栏小小挖掘机
CTR和推荐算法有什么本质区别？
关于多目标优化，既有阿里的ESSM这样的hard parameter sharing算法（《Entire Space Multi-Task Model: An Effective Approach for
2.5K21发布于 2020-12-22 - 来自专栏图与推荐
[SIGIR'21] DMTL：召回场景基于蒸馏的多目标学习方案
如果用多任务类似于ESSM来debias的话，那么，如何把多任务用在召回模型上是有点困难的，因为大多数召回模型都是双塔结构的。另外，之前做阅读时长，大部分都是做成回归任务，用mse。
1.6K10编辑于 2021-12-02 - 来自专栏ShowMeAI研究中心
大厂技术实现 | 爱奇艺短视频推荐业务中的多目标优化实践 @推荐与计算广告系列
爱奇艺尝试了两类方法对多任务进行建模：ESSM建模、MMoE建模，后者方法结合帕累托优化迭代后达到了『互动率20\%提升，人均播放时长1.4\%提升』的业务提升效果。 4.1 ESSM建模1）方案介绍阿里提出了 ESMM1 的方法对 ctr 和 cvr 建模，推荐场景中的用户行为有一定的序列依赖关系，电商场景下的转化行为发生在用户点击之后，可以基于序列依赖进行建模。
2.9K64编辑于 2022-08-15 - 来自专栏炼丹笔记
一文梳理多任务学习(MMoE/PLE/DUPN/ESSM等)
ESSM: 在电商场景下，转化是指从点击到购买。在CVR预估时候，我们往往会遇到两个问题：样本偏差和数据系数问题。
7.5K13发布于 2021-04-09 - 来自专栏炼丹笔记
一文"看透"多任务学习
ESSM: 在电商场景下，转化是指从点击到购买。在CVR预估时候，我们往往会遇到两个问题：样本偏差和数据系数问题。
1.3K10发布于 2021-05-14 - 来自专栏机器学习初学者精选文章
【机器学习基础】一文"看透"多任务学习
ESSM: 在电商场景下，转化是指从点击到购买。在CVR预估时候，我们往往会遇到两个问题：样本偏差和数据系数问题。
55010发布于 2021-04-16 - 来自专栏炼丹笔记
推荐系统多目标建模技巧
ESSM巧妙的通过将除法改成乘法来解决上面的问题。它引入了PCTR和PCTCVR两个辅助任务，训练时loss为两者相加。
1.9K10编辑于 2022-05-23 - 来自专栏NewBeeNLP
全链路总结！推荐算法召回-粗排-精排
sample selection bias ESSM结构截图 Ensemble learning：mmoe通过 n个独立expert network + 针对 m个task的gating network
4.4K10编辑于 2022-11-16 - 来自专栏炼丹笔记
这些我全要！推荐系统一石二鸟之道
ESSM巧妙的通过将除法改成乘法来解决上面的问题。它引入了PCTR和PCTCVR两个辅助任务，训练时loss为两者相加。 PLE：Progressive Layered Extraction ?
1K20发布于 2021-05-14 - 来自专栏炼丹笔记
一石二鸟：推荐算法多目标建模技巧
ESSM巧妙的通过将除法改成乘法来解决上面的问题。它引入了PCTR和PCTCVR两个辅助任务，训练时loss为两者相加。
1.7K41编辑于 2022-10-27 - 来自专栏shysh95
中断控制器8259
ESSM为0，SMM无效，ESMM为1，SMM为1表示工作在特殊屏蔽模式。
1.9K10发布于 2021-09-24 - 来自专栏小小挖掘机
推荐系统遇上深度学习(二十)--贝叶斯个性化排序(BPR)算法原理及实战
推荐系统遇上深度学习(十七)--探秘阿里之MLR算法浅析及实现 推荐系统遇上深度学习(十八)--探秘阿里之深度兴趣网络(DIN)浅析及实现 推荐系统遇上深度学习(十九)--探秘阿里之完整空间多任务模型ESSM
2.2K20发布于 2018-07-25 - 来自专栏得物技术
得物社区推荐精排模型演进
为了缓解这些问题，在业界经过多年的实践和技术发展，积累不少的优秀模型 ESSM、MMOE、PLE 和 ESCM 等等，其中比较重要和应用广泛的模型是 ESSM、MMOE，它们在很多业务场景都有着不错的效果
2K20编辑于 2023-07-04
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号