导语 | 看点信息流每天为亿级用户提供海量实时推荐服务,除了大并发/低延迟/高性能等传统架构挑战以外,还有哪些推荐系统特有的架构挑战难题,又是如何解决的? 视频内容 一、看点信息流 在 QQ 浏览器的主页可以看到腾讯看点的信息流,信息流有三种形态:小视频、短视频、图文,属于业界信息流最主要的形态。 二、看点信息流基本架构和挑战 信息流已经发展很多年了,架构层面都是大同小异。一个信息流系统分为最底部的数据层,包括了倒排/特征/用户模型;数据层上面是召回,召回有隐式召回、显式召回等。 再举一个用户模型例子,在信息流中进行浏览,不点击与亚马逊有关的文章,这一次不点击的行为在下一次刷新就可以反馈出来,这是对用户模型的要求,是大型信息流的标配。 Q:新用户如何推荐? A:用户维度就是去拿额外的数据,内容维度就是新热。 Q:信息流推荐里怎么利用用户搜索画像呢?
1、背景 信息流场景下,用户的行为会受到相邻展示的item的影响,如价格敏感的用户会对比相邻展示的item的价格,选择价格相对较低的item进行购买。 在信息流的浏览过程中,用户的浏览行为存在以下两种特性: 1)单向性(Unidirectivity):用户在信息流的浏览过程中大都是从上往下浏览,很少来回进行物品的对比。 信息流中下文展示的item对上文展示的item的影响是十分有限的,但上文展示的item对下文展示的item却有非常大的影响,论文称具有锚定效应(anchoring effect ),即第一印象或第一信息更容易支配人们的判断 之间的相互影响权重,这里与Self-Attention的计算相同: Global Scope Attention(GSA) GSA主要用于建模全局item之间的相互影响, 如在背景中的介绍,用户在信息流中的浏览过程具有单向性
双塔模型是推荐、搜索、广告等多个领域的算法实现中最常用和经典的结构,实际各公司应用时,双塔结构中的每个塔会做结构升级,用CTR预估中的新网络结构替代全连接DNN,本期看到的是腾讯浏览器团队的推荐场景下, ⛵ 大厂技术实现的数据集下载(百度网盘):公众号『ShowMeAI研究中心』回复『大厂』,或者点击 这里 获取本文 腾讯信息流推荐排序中的并联双塔CTR结构 『CTR预估方法实现数据集与代码』⭐ ShowMeAI 官方GitHub:https://github.com/ShowMeAI-Hub/multi-task-learning---一、双塔模型结构1.1 模型结构介绍双塔模型广泛应用于推荐、搜索、广告等多个领域的召回和排序阶段 图片1.3 双塔模型的优化 腾讯信息流团队(QQ 浏览器小说推荐场景) 基于以上限制对双塔模型结构进行优化,增强模型结构与效果上,取得了不错的收益,具体做法为:把双塔结构中的DNN简单结构,替换有效CTR 』大厂解决方案大厂技术实现 | 多目标优化及应用(含代码实现)@推荐与广告计算系列大厂技术实现 | 爱奇艺短视频推荐业务中的多目标优化实践@推荐与计算广告系列大厂技术实现 | 腾讯信息流推荐排序中的并联双塔
今天给大家带来腾讯资深架构工程师⻢臻在2021年全球架构师峰会上所做的分享《内容分发场景的多目标架构实践.pdf》,本次分享共包含如下两大部分: 1、QQ看点推荐场景介绍和业务挑战; 2、多目标迭代架构实践
Nextflow通过容器来实现可扩展且可重复的数据分析工作流程。它适用于最常见的脚本语言编写的流水线。其流畅的DSL简化了在云和集群上实现和部署复杂并行的生信数据分析流程。
最近才更新到微信的最新版本,早有耳闻公众号变成了微博似的信息流展示信息。之前也没有太在意,这次微信客户端版本更新以后,发现坏了坏了,以往的阅读习惯已经被彻底毁掉了。 下面两图都是我手机上的截图,左边是新的信息流模式,右边是信息流界面下点击右上角图标,回到的 “类似以往” 的基于订阅号发布者的模式。 从这个角度说,基于时间的信息流,有益,但多数情况下并不能带来特别大的好处。而且,微信信息流优先级还不完善,用户更感兴趣的内容很容易被淹没在茫茫信息大海之中。 其次,微信公众号的文章数量如何? 如果文章数量众多,那么基于信息流一定程度上可以提高浏览效率。 但是信息流以后呢?文章质量的重要程度,明显下降。 再说说基于订阅号的这另一半 订阅号最大的好处,在于基于消息发布者的消息组织。
分享嘉宾:罗锦文 腾讯 研究员 编辑整理:Jane Zhang 出品平台:DataFunTalk 导读:当前各大资讯社交类APP都在显著的版面展示或者推荐热点相关内容,信息流应用能否快速发现热点、引导用户阅读热点 用户搜索和媒体生产能够从消费和生产两个方面更加准确的度量热度,事件和话题同时能够辅助用户理解,做到热点的个性化下发,从而提升信息流热点体验。 接下来能看到热点推荐有没有从事件推荐的角度来理解文章。有没有从事件的角度来理解文章,是提升热点推荐效果需要重点讨论的点。带着这几个问题,来看看传统的相关研究是怎么解决这个问题的。 ,提升热点推荐的效果。 作为信息流服务的团队,每天打交道最多的是海量数据。当热门发生时,自媒体作者会主动跟进热点,创作文章跟进这些内容,比如当科比去世的一个小时后,即便是凌晨四点,作者也会也及时更新做报道。
再结合具体的环境(时间、网络环境和位置信息等),向用户推荐其可能感兴趣的广告,从而提升广告和用户的匹配度,促进用户转化 转化效果是大家最关心的,信息流广告的投放都在线上,广告投放效果能够量化,用户各个维度的数据也都可以被统计到 搜索引擎广告是典型的原生广告,广告的样式和搜索出的词条内容非常相似,并且广告的内容和用户的搜索意图相关,转化效果较好 「信息流广告」是媒体主动推荐给用户的广告,可以出现在任意内容中间,搜索引擎广告是用户搜索关键词之后才能展现的 意图词推荐”拓词、剔除和产品无关的内容,核心思路就是“和自己产品相关” 想意图词的工具 ❝(1)百度搜索下拉框 (2)百度指数 (3)关键词规划师 ❞ 2. 选标题 如果已有创意不行,那么提升效果也不会太理想 巨量引擎广告系统不仅能推荐定向,还能推荐标题 4. 创意还要有“一句话,大部分是要优化师自己来写的,一般不能超过 30个字,媒体也会有“推荐标题”的参考 信息流广告是效果广告,有尝试成本低、数据可以即时反馈效果的特点,更新迭代速度很快,这也造成了信息流广告创意
本文从互联网产品设计中的一些思考,关联介绍到信息流,瀑布流和页面元素相关的概念,希望对你有启发 01 工程师和产品经理关注度不同 对于特定的软件功能 程序工程师关注于功能实现逻辑,模块组合。 05 理解信息流 信息流,它是移动互联网时代的一种内容呈现方式。 英文名叫 feeds,原意是给动物投喂食品。 信息流的精髓: 01 源源不断 02 上瘾 再参照「人工智能分发」的核心的定义,就是由算法和人工智能来决定 什么样的内容在什么样的场景之下给到什么样的用户。 信息流说明 每个平台都有关于信息流定义,分发,商业化相关的产品。
大家好,我是小花,初入职场就在某小游戏企业负责渠道推广,主要负责应用商店和信息流广告投放的商务对接。日常工作就是盯着合作广告代理商获取流量,在控制预算和成本的基础上达成公司的买量目标。 痛大家所痛,信息流广告越来越难投相信大家都有共识。我负责对接的信息流渠道成本更是飙升不止,从去年底平均每个激活用户10块钱,上升到今年年初的15块钱,增长了近50%,更难堪的是增成本却不增量。 整体上后端看到我们的主流信息流渠道包的转化数据明显多于广告平台的激活转化数据;细分广告计划看,有的广告计划差别很大,有的则基本一致。大概如下图所示: ? 小A故作深沉地说:“这其实就是信息流代理商在掺量,通过掺量把信息流的推广成本在字面上看来变低,以保住生意,但其实真实成本仍然跟以前一样高。你可以自己算一下”。我打开excel捣腾一圈,果然如此: ? 小A摇了摇头说更换也没有卵用,信息流成本本就非常之高,换神仙也很难改变成本上扬,数量下降,回报入不敷出的局面。
如今,市面上已经有不少开源项目可以用于连接 B 站直播 WebSocket 获取信息流。但在实际使用中,常常发现它们并不能完全满足个性化需求。 ": { // 待观测 "status": 0, // 待观测 "master_list": [ ] } }}获取信息流认证秘钥该接口可以获取到对应直播间信息流的链接地址 port":2243, "wss_port":443, "ws_port":2244 } ] }}信息流接入数据包为 MQ(Message Queue,消息队列)使用 Websocket 或 TCP 连接作为通道,具体格式为 弹幕协议 + 正文数据操作流程:连接信息流服务器节点 -> 发送认证包 -> 接收认证包回应 platformstring平台,传web即可 type int 不确定用途,目前B站网页版传2,照着传即可 key string获取信息流认证秘钥接口提供的
信息流广告的投放,是我们的知识星球(数据化营销与运营,星球ID:37941651)中被问及的最多的问题。 我忽然意识到,信息流也许跟我们过去所有的竞价优化都不同,尤其是与搜索竞价有天壤之别。 1 与谁竞价 信息流广告投放的优化,从理解竞价开始。 所有的竞价广告都是与“竞争对手”的竞价,但如果你只是这么简单的认为,你没有抓住信息流广告的真谛。 信息流广告与搜索引擎竞价广告有极为巨大的区别,从媒体端看,信息流广告竞价管理的特性是“机器参与的多,人参与的少”,而搜索排名竞价则是“人参与的多,机器参与的少”。 “给机器时间和机会”就构成了信息流优化的核心逻辑。 3 给机器时间和机会 那么怎么做到呢? 与搜索引擎的优化思想非常不同,信息流的优化操作不仅不能频繁,反而需要特别谨慎。 5 切忌粗暴优化 看了前面,你会明白这篇文章的标题为什么是“信息流切忌粗暴优化”。 信息流的靠谱玩法是“与机器共舞”,要让机器能够不断试错,从而快速掌握你的逻辑。
你可以像浏览信息流一样查看你的笔记,通过主题进行简单组织,或者直接搜索。更有趣的是,你还可以向你的笔记提问,ArcaNotes 的 AI 引擎会生成答案。这种交互方式,让你仿佛在与一个智能助手对话。 你可以轻松地与他人分享你的知识,甚至可以关注其他用户的话题,实时更新,就像浏览信息流一样。这种开放性,让你的知识得以传播,也让他人能够从中受益。 它可以根据你的笔记内容推荐话题,通过自然语言问答生成答案,甚至根据你的过去行为推荐分享对象。这些 AI 功能不仅节省了时间,还让知识管理变得更加智能。
既然其官网说了, Linux 是数据科学的通用语言 。为何 Nextflow 搭建的流程没有多少 Linux 的影子?
发现有这么一类号主,他们专门整理城市每天的信息(包含:新闻、房产、招聘、演唱会、美食羊毛等)进行发布 他们以此获取同城流量,然后转化到私域流量进行变现 本篇文章将介绍如何利用 Python 一键生成这类信息流数据 发布到小红书的素材都是图片,利用 Python 生成图片有多种方式 比如:Pillow、OpenCV 直接生成一张图片,然后往里面写入内容 这种方式有一个缺点,就是生成的图片不够灵活,需要反复调试 所以这里推荐另外一种方式
作者 | 袁易之 编辑 | 蔡芳芳 信息流业务背景介绍 信息流业务基本上伴随着互联网的诞生一起同步发展,不断为互联网用户提供信息来源,从而促进了门户网站的快速发展,比如腾讯网、搜狐、新浪等。 信息流内容理解业务架构 图文 / 视频内容会通过发布平台进入到我们的内容处理系统打上标记,并送到推荐系统,并最终展现到用户面前。 除此之外,我们还需要对内容进行深度理解,比如对内容进行分类,打上各类的标签以及一些 embedding 的特征,帮助推荐系统可以更精准的把内容推荐给用户。 外部会源源不断的灌入这一条流水线,并将处理完推送到推荐系统中。 目前我们的信息流业务中,各类模型服务近千个,生成出图文内容特征 2k+,视频内容特征也有近 2k 个字段,提供给机审、人审、推荐、运营系统等各个环节使用。
本届TLC大会的主题是“大前端,信息流”,由腾讯NOW直播IVWEB团队出品。 同时关于直播业务和信息流业务奇胜还给出了自己的思考。直播作为信息流的一部分,跟信息流的无缝叠加,能丰富信息流并且带给用户更好的交互和体验。 信息流专场 信息流已经成为互联网行业内容领域的重要赛道,各个专业的信息流团队不断地在其中积累大量的优秀实践,在社交,文娱,新闻信息等场景使用 WebAssembly, Node.js,Android Plugin 本次大会请到几位信息流领域的技术大咖,给我们带来当前信息流领域的最新技术实践的分享。 《如何打造高可用的Nodejs框架》 第一场分享是由张龙老师带来的 《如何打造高可用的Nodejs框架》。 服务架构分享》 第四场分享是由郑国辉老师带来的《信息流视频清晰度策略Nodejs服务架构分享》。
在这一阵子我整理信息流广告投放的思路,同时也是分享下的信息流广告投放的经验,我会把在以前电脑端做网站及优化广告,还有做自媒体内容时的一些经验,整合在信息流里面来,在了解市面上一些内容,投放的内容讲的比较多 据艾瑞分析,信息流广告预计2020年将超过2500亿,信息流广告在中国网络广告细分领域的市场份额也不断攀升,预计在2021年将达到35.8%。 一、信息流广告的历史 2006年全球社交巨头脸书推出了信息流广告,这个是全球最早的信息流广告,老乔2010年发布了苹果4,开创了智能手机新时代,从此有了新的移动互联网,张小龙一边看《乔布斯传》一边开发微信 ,国内常见的信息流投放平台有头条的巨量引擎,百度信息流、腾讯广点通、快手广告等。 信息流广告投放实战是一系列的文章,预计会有十篇左右的内容,这个开始主要是谈的自己的一些对信息流的看法和想法,也欢迎各位朋友交流促进。
百度的信息流成了——不只是证明了搜索上加载信息流的可行性,也带来了真金白银,二季度财报显示,信息流每天给百度带来3000万元的广告收入,远远超过一季度底的日均1000万。 信息流业务是最典型的AI应用场景,因为它需要通过对用户的内容浏览习惯进行不断地学习,来掌握用户的兴趣偏好,再给予精准的推荐,这个逻辑被行业称为“千人千面”,这正是一个典型的AI应用过程。 很多时候你会发现被推荐的信息流内容,与你过去某段时间的搜索行为有关系,进而“正中下怀”,点击一条之后你再刷新所看到的每一条内容都是基于类似的逻辑推荐的,往往会“欲罢不能”。 信息流是新的搜索 百度能在短时间内做成信息流业务,更深层次原因在于,信息流是内容分发的一种形式,而这正是百度的初心和核心。 从Pull到Push,从搜索到推荐,从有限的搜索结果列表到可无限刷新的消息流,信息流不过是搜索的延续。因此,做自己本来就在做的事情,百度得心应手。
爱奇艺信息流广告业务简介 2. 信息流广告核心问题与挑战 3. 爱奇艺信息流广告排序算法演进过程 4. 总结与展望 爱奇艺在线广告系统的排序算法部分 爱奇艺中国视频行业领先者,伴随着移动搜索市场的日渐强大,爱奇艺推出移动端信息流广告,视频关联位广告,贴片广告,浮层广告,角标广告等等 广告形式丰富多样 爱奇艺的广告系统的精准触达的算法演变和核心排序的方式 爱奇艺信息流广告业务简介 爱奇艺信息流广告是依托爱奇艺海量视频内容及用户、优质流量资源 结合广告行业特点,为企业主提供跨平台、多终端的网络推广服务 爱奇艺效果推广结合百度大数据及强大技术实力,可以实现了海量触达 信息流广告核心问题与挑战 ranking_score = bid * PCTR * PCVR * Q_score ECPM竞价排序 : bid * PCTR * PCVR 创意质量分 : Q_score 爱奇艺信息流广告排序算法演进过程 整体构建 ? 点击率预估 eCPM = bid * pCTR 计费方式:按点击(CPC)或 TrueView(CPV)计费 预估单元:内容id ? 业务数据流 ?