导语 | 看点信息流每天为亿级用户提供海量实时推荐服务,除了大并发/低延迟/高性能等传统架构挑战以外,还有哪些推荐系统特有的架构挑战难题,又是如何解决的? 视频内容 一、看点信息流 在 QQ 浏览器的主页可以看到腾讯看点的信息流,信息流有三种形态:小视频、短视频、图文,属于业界信息流最主要的形态。 二、看点信息流基本架构和挑战 信息流已经发展很多年了,架构层面都是大同小异。一个信息流系统分为最底部的数据层,包括了倒排/特征/用户模型;数据层上面是召回,召回有隐式召回、显式召回等。 A:是规律的,会有早高峰和晚高峰,早高峰是 9 点,晚上是 8~10 点。 Q:看点用户的并发访问是规律的么,如何处理资源弹性的问题? Q:新用户如何推荐? A:用户维度就是去拿额外的数据,内容维度就是新热。 Q:信息流推荐里怎么利用用户搜索画像呢?
1、背景 信息流场景下,用户的行为会受到相邻展示的item的影响,如价格敏感的用户会对比相邻展示的item的价格,选择价格相对较低的item进行购买。 在信息流的浏览过程中,用户的浏览行为存在以下两种特性: 1)单向性(Unidirectivity):用户在信息流的浏览过程中大都是从上往下浏览,很少来回进行物品的对比。 信息流中下文展示的item对上文展示的item的影响是十分有限的,但上文展示的item对下文展示的item却有非常大的影响,论文称具有锚定效应(anchoring effect ),即第一印象或第一信息更容易支配人们的判断 之间的相互影响权重,这里与Self-Attention的计算相同: Global Scope Attention(GSA) GSA主要用于建模全局item之间的相互影响, 如在背景中的介绍,用户在信息流中的浏览过程具有单向性
作者:alieyu 腾讯VTeam技术团队高级工程师 导语 | 信息流产品的内容分发方式包括:推荐、投放、push、订阅等,其中的"推荐"是最为主流,也是大家最为熟知的分发方式。 一些具体的排期策略: 投放任务:一个短视频要在48小时内,投放10w的曝光量 时间分布:在48小时投放10w,那么每个细分粒度的时间段(比每小时)应该投放多少呢? 多场景分配:如果存在多端多场景的用户流量,那么这10w流量到底分配到哪端哪个场景去执行,也是需要考虑的点,充分将各流量场景都利用起来,实现流量合理分配,利益最大化。 其根本原因在于,推荐与投放是有本质区别的: 推荐召回:以用户找内容,只要内容满足用户兴趣画像即可,此时用户画像可能并不满足内容的相关条件,内容处于被选择状态。 最后: 感谢团队里一起建设投放系统的小伙伴; 欢迎各信息流的相关团队/同学,进行更加深入的讨论和协同共建等 近期热文推荐 ? ? ? ? 你“在看”我吗?
信息流产品的内容分发方式包括:推荐、投放、push、订阅等,其中的"推荐"是最为主流/熟知的分发方式。但在实际的信息流产品中,通常是多种分发方式同时并存,共同打造内容生态,共同提升用户体验。 同样,在信息流分发体系中,推荐当然是至关重要,但推荐本身是有缺陷的(伪喜欢/唯消费者),因此人工干预也是必须的。 ? 2.3 信息流投放 信息流投放,本质上和广告投放是一致的。只是投放的物品有所区别而已,信息流投放的物品,包括图文、视频、广告等多种形态。 在具体实施过程中,也是以内容找人,和推荐系统的以人找内容相反。 这也是为什么在信息流产品的生命周期里,一开始就必须要一套强大的推荐系统,而投放系统通常在中期阶段才出现的一大原因。 一些具体的排期策略: 投放任务:一个短视频要在48小时内,投放10w的曝光量 时间分布:在48小时投放10w,那么每个细分粒度的时间段(比每小时)应该投放多少呢?
⛵ 大厂技术实现的数据集下载(百度网盘):公众号『ShowMeAI研究中心』回复『大厂』,或者点击 这里 获取本文 腾讯信息流推荐排序中的并联双塔CTR结构 『CTR预估方法实现数据集与代码』⭐ ShowMeAI 图片1.3 双塔模型的优化 腾讯信息流团队(QQ 浏览器小说推荐场景) 基于以上限制对双塔模型结构进行优化,增强模型结构与效果上,取得了不错的收益,具体做法为:把双塔结构中的DNN简单结构,替换有效CTR output_dim=6) x1 = Cross()(x0, x0) x2 = Cross()(x0, x1) logits = tf.keras.layers.Dense(units=10 Proceedings of the 10th ACM Conference on Recommender SystemsSeptember 2016 Pages 43–4 Jianxun Lian, 』大厂解决方案大厂技术实现 | 多目标优化及应用(含代码实现)@推荐与广告计算系列大厂技术实现 | 爱奇艺短视频推荐业务中的多目标优化实践@推荐与计算广告系列大厂技术实现 | 腾讯信息流推荐排序中的并联双塔
10. DocBlockr 如果你遵循的编码的风格很严格,这款插件能够使你的任务更容易。DocBlokr 帮助你创造你的代码注释,通过解析功能,参数,变量,并且自动添加基本项目。
今天给大家带来腾讯资深架构工程师⻢臻在2021年全球架构师峰会上所做的分享《内容分发场景的多目标架构实践.pdf》,本次分享共包含如下两大部分: 1、QQ看点推荐场景介绍和业务挑战; 2、多目标迭代架构实践
本次给大家安利 10 个开源的推荐系统,GitHub链接如下。然后再给大家介绍下推荐系统框架下各个环节及作用。 /lightfm https://github.com/lyst/lightfm 9、python-recsys/crab https://github.com/python-recsys/crab 10 、NicolasHug/Surprise https://github.com/NicolasHug/Surprise 工业推荐系统环节 工业中的推荐系统一般包含四个环节,分别是召回、粗排、精排和重排。 召回:根据用户的兴趣和历史行为,从海量的物品库里,快速找回一小部分用户潜在感兴趣的物品,然后交给排序环节,排序环节可以融入较多特征,使用复杂模型,来精准地做个性化推荐。
输入多个同类的对比词,比如输入对比词:小鹏汽车、理想汽车和蔚来汽车,该网站会搜出对比词在小红书、B站和抖音中的正面和负面评价对比,可用于对产品口碑营销效果的监测。
10、Darkest Dark Theme 主题插件,可以像idea那样有黑色的主题,不过看起来怪怪的,个人不是很喜欢。
本文是 Mybridge 挑选的 10 个 Python 开源项目,Github 平均star 2135,希望你能够喜欢~~ ▌Rank 1:Requests-HTML v0.9(7385 stars 项目地址: https://github.com/kennethreitz/twitter-scraper ▌Rank 10:Fast-Pandas(667 stars on Github,来自M.
Nextflow通过容器来实现可扩展且可重复的数据分析工作流程。它适用于最常见的脚本语言编写的流水线。其流畅的DSL简化了在云和集群上实现和部署复杂并行的生信数据分析流程。
下面两图都是我手机上的截图,左边是新的信息流模式,右边是信息流界面下点击右上角图标,回到的 “类似以往” 的基于订阅号发布者的模式。 从这个角度说,基于时间的信息流,有益,但多数情况下并不能带来特别大的好处。而且,微信信息流优先级还不完善,用户更感兴趣的内容很容易被淹没在茫茫信息大海之中。 其次,微信公众号的文章数量如何? 如果文章数量众多,那么基于信息流一定程度上可以提高浏览效率。 或者说,如果有 1000 条信息,用户站在时间线的顶端,眼睛和手指一起工作,扫到了其中的 100 条,然后点开了其中的 10 条阅读,并对其中的 1 条感兴趣并完成发布者的关注。 但是信息流以后呢?文章质量的重要程度,明显下降。 再说说基于订阅号的这另一半 订阅号最大的好处,在于基于消息发布者的消息组织。
id=uxxFrDwrE7Y 10、Autonomous Reinforcement Learning: Formalism and Benchmarking Archit Sharma, Kelvin
编译 | AI科技大本营 一直为开发者提供优质学习资源的Mybridge最近又发布了一篇资源性文章:机器学习领域开源项目Top 10,AI科技大本营做了简要编译。 [Github 55颗星] github链接:https://github.com/for-ai/CipherGAN ▌Rank 10 PirateAI:由Hugo开源,PirateAI是一个人机交互的项目 颗星] github链接:https://github.com/HugoCMU/pirateAI 原文:https://medium.mybridge.co/machine-learning-top-10
来源:DeepHub IMBA本文约4800字,建议阅读10+分钟本文与你分享ICLR 2022的机器学习研究相关论文。
一直为开发者提供优质学习资源的Mybridge最近又发布了一篇资源性文章:机器学习领域开源项目Top 10,AI科技大本营做了简要编译。 [Github 55颗星] github链接:https://github.com/for-ai/CipherGAN ▌Rank 10 PirateAI:由Hugo开源,PirateAI是一个人机交互的项目 颗星] github链接:https://github.com/HugoCMU/pirateAI 原文:https://medium.mybridge.co/machine-learning-top-10
Cline 官方推荐MCP盘点: 来看看A2A 怎么跟 MCP 一起玩。 AI Agent 应用,需要两样东西:A2A 和 MCP。
窗口分屏配合Win10自带的虚拟桌面功能,使用Ctrl+Win+←或→的快捷键,可以达到类似于多个桌面的体验。 官网下载虽然没被墙,但是下载速度也谈不上快。 PinStack(剪贴板增强工具) Ubuntu下有个很方便的剪贴板增强插件,但是Win10迟迟找不到,win+v开启剪贴板历史管理虽然也能用,但是多少还是差了那么点意思,我还相继使用过ditto和pinborad 所以就有了PinStack,不过它是收费软件,25元激活,在Win10自带的应用商店就可以下载安装,有7天免费试用期,体验良好的话就支持下正版吧。 优效日历 优效日历 优效日历采用了Win10的设计风格,安装后直接替换windows原版日历, ? 日历界面色彩更加丰富,且支持自定义,软件占用资源极低,可以放心使用。 自带的工具箱还有桌面便签,嵌入式设计深得我心,让本想再推荐YYnote便签的我直接少写了很多冗余内容。 虽然最新版推出了会员功能,但是只要不是贪图多设备同步,本地功能并没有遭到阉割。 未完待续
编译 | 阿司匹林 出品 | 人工智能头条(公众号ID:AI_Thinker) 4 月 Python 热门文章推荐 1、用 Python 实现区块链的实用介绍 原文链接: http://adilmoujahid.com OpenMV 读取条形码 原文链接: https://www.pyimagesearch.com/2018/03/19/reading-barcodes-with-python-and-openmv/ 10 python-big-data-airflow-jupyter-notebook-hadoop-3-hive-presto.html 原文地址: https://medium.mybridge.co/python-top-10