本周推文目录如下: 周一:【点击率预估】 Wide&deep 点击率预估模型 周二:【文本分类】 基于DNN/CNN的情感分类 周三:【文本分类】 基于双层序列的文本分类模型 周四:【排序学习】 基于 逻谛斯克回归对大规模稀疏特征有着很好的学习能力,在点击率预估任务发展的早期一统天下。近年来,DNN 模型由于其强大的学习能力逐渐接过点击率预估任务的大旗。 在点击率预估任务中,我们给出谷歌提出的 Wide & Deep 模型。 【点击率预估】 Wide&deep 点击率预估模型 以下是本例目录包含的文件以及对应说明: ├── README.md # 本教程markdown 文档 ├── dataset.md 精准的点击率预估对在线广告系统收益最大化具有重要意义。
虽然说用户的兴趣是多种多样的,但是我们回过头看一下我们的ctr预估要解决的是什么问题。我们是在给定一个候选广告和用户的情况下,去预测点击的结果。
指标 广告点击率预估是程序化广告交易框架的非常重要的组件,点击率预估主要有两个层次的指标: 1. 排序指标。排序指标是最基本的指标,它决定了我们有没有能力把最合适的广告找出来去呈现给最合适的用户。 框架 工业界用得比较多的是基于LR的点击率预估策略,我觉得这其中一个重要的原因是可解释性,当出现bad case时越简单的模型越好debug,越可解释,也就越可以有针对性地对这种bad case做改善。 整个CTR预估模块的框架,包含了exploit/explore的逻辑。 ? 单纯点击率预估算法的框图如下; ? Step-by-step 1. 对于广告点击率预估,同时拥有这三类特征。所以一个简单的方法就是级联地使用这两个方法,更好地进行特征组合。 ? 3. LR a. 比如说,现在认为在不同的点击率区段,影响点击率的特征的权重是一致的,但实际发现是不一样的,就可以按照点击率的区间划分,做分区间模型(据说阿里用的MLR就是这个东东)。
前言 CTR预估对于搜索、推荐和广告都是非常重要的一个场景,近年来CTR预估技术更新迭代,层出不穷。这篇文章将记录CTR预估著名模型的相关论文。以下按照年份整理。 1.2020年 (DFN).
在前文中,我们已经分析了类似效果广告点击率预估这种场景下的模型快速更新的需求,给出了在当时看来比较稳妥的一套技术方案。 上述局限性已经严重制约了点击率预估模型的进一步优化,要求我们在技术上做出突破。 随着人类积累的数据量越来越大,种类越来越多,蕴含的商业价值越来越高,大数据成为了一个很热的技术和商业话题。 若从大数据的视角来看,效果广告是公认的典型的大数据应用之一,而效果广告点击率预估则是典型的大数据分析和挖掘,我们需要在遇到瓶颈时升级我们的方案来持续释放大数据中蕴含的效果提升潜力。 端到端流式处理的数据流中,任何一个环节的非正常波动或者故障,都有可能给模型训练或模型预测造成干扰,进而导致点击率预估效果的波动,甚至直接影响实时的现网收入。 在线学习解决了我们遇到的一些痛点,还有其他的痛点,所以,本系列后续文章除了继续介绍我们在在线学习方面的实践细节之外,还会谈一谈我们把深度学习应用于效果广告点击率预估的工作[11]。
将深度学习技术应用于效果广告点击率预估并不是为了附庸风雅,而是因为有实际的需求和痛点。 时间回到三年前,当时现网点击率预估的主力算法模型是逻辑回归(logistic regression, LR)。 面对效果广告点击率预估这样一个有监督学习的问题,我们希望借助于深度学习来节约特征工程中的巨大投入(当然,无法完全避免),更多地让点击率预估模型和各辅助模型自动完成特征构造和特征选择的工作(这也被称作特征学习 ,feature learning),并始终和点击率预估的目标保持一致。 一类是运行时用做点击率预估的模型,一类是辅助构造抽象特征的模型,这两类模型从设计到训练都对齐点击率预估的目标。前者的深度目前控制在2~4隐层,每层的宽度也不是很大,不过还有进一步加深加宽的余地。 首先,满足多个领域常见的深度学习模型的训练需求,实验成本低且有充分的可扩展性,特别是要支持效果广告点击率预估相关的端对端学习需求,既支持相对规模较小的点击率预估模型,也支持大规模的特征挖掘模型,且可以根据需要扩展新的模型结构
A:网上已经有很多的文章解释过这个问题,简单的说就是离线评估的 AUC 是评估请求与请求之间点击率的序,而在线评估的是广告与广告点击率的距,评估的角度就不一致,所以这种情况是有可能发生的。 A:点击率预估优化的是收入,如果曝光没变,也可以理解为就是 CPM。CPM 是我们的优化目标,而 CTR 只是我们的指标,类似的还有转化率,负反馈率等等。 「Q:我的曝光涨了,收入也涨了,但点击率和 CPM 都跌了,怎么处理呢?」 这里有一点比较难理解,多出来的那些曝光很可能是质量比较差的流量,所以如果实验点击率和 CPM 跌了,这很有可能是正常的,看收入更可信一些。 偏个题,其实在转化率预估中更容易犯这个错,转化的路径比如有点击->安装->激活->付费,如果能收集到所有转化数据,往往做的时候会把所有收集到的转化数据都用上,而不管广告主真的是想优化哪个目标(比如,安装
DUMN 先看看DUMN的框架图输入包括用户画像,用户行为,候选item的特征,上下文等,输入就是点击率。 用户和items之间有各种交互,如点击,打分。
作者:十方 说到点击率模型这个“古老”的话题,大家第一时间想到的是wide&deep,DeepFM,DCN等。但是说到GNN预估点击率,大家又能想到几个呢? PCF-GNN 既然是pretrain模型,第一步当然是做预训练,然后再进行下游任务也就是点击率预估。 接下来就可以进行预训练了,我们知道边的值本质上就是显式的交互特征,我们通过自监督学习,预估边的值,预估任务被定义为mse(pu,v - au,v),pu,v是PCF-GNN的输出。 当计算出hi后我们通过CrossNet求得最终预估值,如下式所示: ? 将不同node的embedding和p作为特征,再加上其他特征输入到最终的全连接网络,预估最终的点击率。 实验 ? pcf-gnn效果上均优于其他模型。
在前文中,我们已经分析了类似效果广告点击率预估这种场景下的模型快速更新的需求,给出了在当时看来比较稳妥的一套技术方案。 上述局限性已经严重制约了点击率预估模型的进一步优化,要求我们在技术上做出突破。 随着人类积累的数据量越来越大,种类越来越多,蕴含的商业价值越来越高,大数据成为了一个很热的技术和商业话题。 若从大数据的视角来看,效果广告是公认的典型的大数据应用之一,而效果广告点击率预估则是典型的大数据分析和挖掘,我们需要在遇到瓶颈时升级我们的方案来持续释放大数据中蕴含的效果提升潜力。 端到端流式处理的数据流中,任何一个环节的非正常波动或者故障,都有可能给模型训练或模型预测造成干扰,进而导致点击率预估效果的波动,甚至直接影响实时的现网收入。 在线学习解决了我们遇到的一些痛点,还有其他的痛点,所以,本系列后续文章除了继续介绍我们在在线学习方面的实践细节之外,还会谈一谈我们把深度学习应用于效果广告点击率预估的工作[11]。
---- SIGAI特约作者 张凌寒 中国科学院研究生院 研究方向:机器学习, 推荐系统 摘要 CTR(Click-through rate, 点击率)预估在工业级推荐系统、广告系统中是非常重要的一个环节 Factorization Machines, 域感知因子分解机)做进一步特征组合 5.使用GBDT(Gradient Boosting Decision Tree, 梯度提升决策树)进行高阶特征组合 6.总结 关键词: 点击率预估 LR在CTR预估中的应用 在CTR预估中, 我们通常使用one-hot编码来对数据进行处理. 有关GBDT更加详细的论述请参考: Linghan Zhang:Gradient Boosting梯度提升-GBDT与XGBoost解析及应用zhuanlan.zhihu.com 总结 本文对CTR点击率预估的经典模型进行了梳理和回顾 许多现代的深度学习点击率预估模型都是以上述的经典模型为基础演变而来, 厘清经典模型的发展脉络, 对掌握和使用深度学习点击率预估模型将有很大的益处. 引用 [1] Zhang, J. (2019).
导语: 本文讨论了CTR预估模型,包括工业界使用比较广的比较经典模型和学术界最新的结合DeepLearning的一些工作。 的低维连续空间向量表示预先由FM在数据集上生成,模型在训练过程中,会通过BP来更新FM层参数,其他步骤和常见的MLP没有什么区别,这里重点就是底层如何介入FM层参数的问题; CCPM CCPM利用卷积网络来做点击率预测
本文将要分享的是笔者所在团队将深度学习技术应用于效果广告点击率预估的一些思考和实践经验。 将深度学习技术应用于效果广告点击率预估并不是为了附庸风雅,而是因为有实际的需求和痛点。 时间回到三年前,当时现网点击率预估的主力算法模型是逻辑回归(logistic regression, LR)。 面对效果广告点击率预估这样一个有监督学习的问题,我们希望借助于深度学习来节约特征工程中的巨大投入(当然,无法完全避免),更多地让点击率预估模型和各辅助模型自动完成特征构造和特征选择的工作(这也被称作特征学习 ,feature learning),并始终和点击率预估的目标保持一致。 一类是运行时用做点击率预估的模型,一类是辅助构造抽象特征的模型,这两类模型从设计到训练都对齐点击率预估的目标。前者的深度目前控制在2~4隐层,每层的宽度也不是很大,不过还有进一步加深加宽的余地。
近期参加了kesci平台上的云脑机器学习训练营,接触到了FFM模型,因此这篇文章,将主要讲述FFM模型在CTR预估中的应用。 原理与实践 FFM(Field-aware Factorization Machine)模型是FM(Factorization Machine)的升级版模型,美团点评技术团队在站内CTR/CVR的预估上使用了该模型 最后,安利一个同学的方案,做的很详细:云脑-电商推荐系统(特征工程部分) 参考: 深入FFM原理与实践 点击率预估算法:FM与FFM 发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn
1.背景点击率预估(pCTR)是广告投放过程中的一个重要环节,精准的点击率预估对于广告投放系统收益最大化具有重要意义。pCTR的优化主要有算法优化,系统改进,特征探索等几种途径。 H(y)表示目标y的信息熵,H(y|f)表示引入了特征f后的信息熵通过计算特征f的IG(即信息熵的增加量)来判断对点击率的区分性,从而确定是否加入点击率预估模型当中去。 参考文献 [1] CTR预估中GBDT与LR融合方案,腾讯大数据,2015-08-27 [2]Singh S, Kubica J, Larsen S, et al.
指标 广告点击率预估是程序化广告交易框架的非常重要的组件,点击率预估主要有两个层次的指标: 1. 排序指标。 框架 工业界用得比较多的是基于LR的点击率预估策略,我觉得这其中一个重要的原因是可解释性,当出现bad case时越简单的模型越好debug,越可解释,也就越可以有针对性地对这种bad case做改善 整个CTR预估模块的框架,包含了exploit/explore的逻辑。 ? 单纯点击率预估算法的框图如下; ? Step-by-step 1. 对于广告点击率预估,同时拥有这三类特征。所以一个简单的方法就是级联地使用这两个方法,更好地进行特征组合。 ? 3. LR a. 比如说,现在认为在不同的点击率区段,影响点击率的特征的权重是一致的,但实际发现是不一样的,就可以按照点击率的区间划分,做分区间模型(据说阿里用的MLR就是这个东东)。
导读 本文方法主要针对ctr预估中的用户行为建模提出相应的模型,用户交互历史包含了不同的行为模式,反映用户的习惯性范式。
嘿,记得给“机器学习与推荐算法”添加星标 TLDR: 本文开发了一种检索增强的注意力方法,旨在获取样本内和样本间的细粒度特征交互,在保持效率的同时提高了点击率预估算法的预测能力。 论文:arxiv.org/abs/2404.02249 代码:github.com/YushenLi807/WWW24-RAT 点击率预估任务(CTR)被广泛应用于商业领域,如广告系统和推荐系统。 特征交互建模在点击率预估中起着至关重要的作用。如下图所示,传统方法主要关注每个样本内的特征交互,很少考虑可以作为参考上下文来增强预测的跨样本信息。 在该方向上,RIM[1]、DERT[2]和PET[3]是检索增强点击率预估的三项初步工作。然而,它们妥协了样本内或样本间的特征交互,这仍然是次优的做法。 为弥补前人工作中的缺点,本文提出了一种统一的框架,称为检索增强的注意力机制(RAT),以增强细粒度的样本内和样本间特征交互,用于点击率预测。模型结构如下图所示。
1 正式赛题——文本点击率预估 搜索中一个重要的任务是根据query和title预测query下doc点击率,本次大赛参赛队伍需要根据脱敏后的数据预测指定doc的点击率,结果按照指定的评价指标使用在线评测数据进行评测和排名 sample样本格式: training样本:脱敏后的query和网页文本数据,并已经分词为term并脱敏,term之间空格分割,样本规模初赛1亿,复赛增加到10亿;这份数据主要用于参赛队伍训练模型,制定预估策略 https://www.kesci.com/mw/project/5d9ef1fc037db3002d3f75a3 2.1 解题思路之机器学习 机器学习 如果将这个题目可以看作:(文本)点击率预估的问题 推荐一些文本处理工具库:Levenshtein、Textdistance、Difflib、Fuzzywuzzy 等 下图是部分重要特征分析: 2.2 解题思路之深度学习 深度学习 将这个题目可以看作:短文本匹配+点击率预估 深度语义匹配模型 微软论文:https://www.microsoft.com/en-us/research/project/dssm/ 代码和PPT回复公众号“ChallengeHub”关键字:文本点击率获取
导读 CTR预估中,我们可以利用用户行为序列来捕捉用户不断变化的偏好。但是,历史序列往往具有严重的同源性和稀缺性。本文提出了一种数据驱动的方法来丰富用户表征。 在用户集合中检索相似用户 基于目标item的emb,通过simhash在召回item中检索相似item 基于检索得到的相似用户和item构建交互矩阵,使用交互矩阵对相似用户和item进行加权聚合 随后用于后续的点击率预估 w_{i}\cdot E_{\mathcal{R}^{\prime}}\\v_{u}^{enr}=Concat(v_{ui}^{c},v_{ui}^{d}) 最后的损失函数由两部分组成,分别是原始的点击率预测的交叉熵损失和这里的权重矩阵学习的交叉熵损失函数