导语 | 看点信息流每天为亿级用户提供海量实时推荐服务,除了大并发/低延迟/高性能等传统架构挑战以外,还有哪些推荐系统特有的架构挑战难题,又是如何解决的? 视频内容 一、看点信息流 在 QQ 浏览器的主页可以看到腾讯看点的信息流,信息流有三种形态:小视频、短视频、图文,属于业界信息流最主要的形态。 二、看点信息流基本架构和挑战 信息流已经发展很多年了,架构层面都是大同小异。一个信息流系统分为最底部的数据层,包括了倒排/特征/用户模型;数据层上面是召回,召回有隐式召回、显式召回等。 第二天零点开始到第二天的五、六点这个区间,用户访问逐步上来了,留给我们时间是 4 到 5 个小时,假如机器够多就能很快处理完,一般处理分几个步骤: 首先是对数据进行预处理,进行不同特征的计算,最关键是要把画像 Q:新用户如何推荐? A:用户维度就是去拿额外的数据,内容维度就是新热。 Q:信息流推荐里怎么利用用户搜索画像呢?
1、背景 信息流场景下,用户的行为会受到相邻展示的item的影响,如价格敏感的用户会对比相邻展示的item的价格,选择价格相对较低的item进行购买。 在信息流的浏览过程中,用户的浏览行为存在以下两种特性: 1)单向性(Unidirectivity):用户在信息流的浏览过程中大都是从上往下浏览,很少来回进行物品的对比。 信息流中下文展示的item对上文展示的item的影响是十分有限的,但上文展示的item对下文展示的item却有非常大的影响,论文称具有锚定效应(anchoring effect ),即第一印象或第一信息更容易支配人们的判断 之间的相互影响权重,这里与Self-Attention的计算相同: Global Scope Attention(GSA) GSA主要用于建模全局item之间的相互影响, 如在背景中的介绍,用户在信息流中的浏览过程具有单向性
双塔模型是推荐、搜索、广告等多个领域的算法实现中最常用和经典的结构,实际各公司应用时,双塔结构中的每个塔会做结构升级,用CTR预估中的新网络结构替代全连接DNN,本期看到的是腾讯浏览器团队的推荐场景下, ⛵ 大厂技术实现的数据集下载(百度网盘):公众号『ShowMeAI研究中心』回复『大厂』,或者点击 这里 获取本文 腾讯信息流推荐排序中的并联双塔CTR结构 『CTR预估方法实现数据集与代码』⭐ ShowMeAI 官方GitHub:https://github.com/ShowMeAI-Hub/multi-task-learning---一、双塔模型结构1.1 模型结构介绍双塔模型广泛应用于推荐、搜索、广告等多个领域的召回和排序阶段 图片1.3 双塔模型的优化 腾讯信息流团队(QQ 浏览器小说推荐场景) 基于以上限制对双塔模型结构进行优化,增强模型结构与效果上,取得了不错的收益,具体做法为:把双塔结构中的DNN简单结构,替换有效CTR 』大厂解决方案大厂技术实现 | 多目标优化及应用(含代码实现)@推荐与广告计算系列大厂技术实现 | 爱奇艺短视频推荐业务中的多目标优化实践@推荐与计算广告系列大厂技术实现 | 腾讯信息流推荐排序中的并联双塔
下拉刷新+上拉加载 → 5. item => item.id.toString()) } .onScrollIndex((first, last) => { if (last > this.data.length - 5) 触底加载 } }) ``` > **优化点**: > - 图片组件用`AsyncImage`异步加载 > - 文本用`TextOptimization`启用字体缓存 5️⃣ this.scroller.scrollToIndex(index); // 跳转到对应首字母 }) ``` > **权限配置**: > 在`module.json5`
碎碎念 千呼万唤始出来,项目推荐系列文章终于到了第五期啦,前面四期深受大家喜爱,给我赚了不少评论和浏览量嘻嘻,谢谢大家啦! 介绍 引用站外地址,不保证站点的可用性和安全性 CloudPaste:基于Cloudflare的在线文本/大文件分享平台 github.com@ling-drag0n 之前介绍过很多的内容中转,比如项目推荐 3中就推荐了一个CloudPaste项目,而今天这个是他的升级版,在原有基础上,支持了更美观的页面,更完善的存储源,更多功能的Markdown编辑器。
今天给大家带来腾讯资深架构工程师⻢臻在2021年全球架构师峰会上所做的分享《内容分发场景的多目标架构实践.pdf》,本次分享共包含如下两大部分: 1、QQ看点推荐场景介绍和业务挑战; 2、多目标迭代架构实践
Nextflow通过容器来实现可扩展且可重复的数据分析工作流程。它适用于最常见的脚本语言编写的流水线。其流畅的DSL简化了在云和集群上实现和部署复杂并行的生信数据分析流程。
摘自:InfoQ 原文链接:infoq.com/cn/news/2015/12/5-best-ml-api-to-use 作者:孙镜涛 机器学习作为大数据的前沿无疑是让人生畏的,因为只有技术极客和数据科学领域的专家才能驾驭机器学习算法和技术 Microsoft、Google、Amazon以及BigML等公司都为业务分析师和开发人员提供了自己的机器学习即服务(MLaaS),最近Khushbu Shah在KDnuggets上发表了一篇文章,介绍了这5个公司的机器学习 根据给定的文本预测人们的社会特征 Microsoft Azure机器学习API Microsoft Azure机器学习是一个用于处理海量数据并构建预测型应用程序的平台,该平台提供的功能有自然语言处理、推荐引擎 Google预测API是一个云端机器学习和模式匹配工具,它能够从BigQuery和Google云存储上读取数据,能够处理销售机会分析、客户情感分析、客户流失分析、垃圾邮件检测、文档分类、购买率预测、推荐和智能路由等用户场景
5.钉钉 钉钉(Ding Talk)是阿里巴巴集团打造的企业级智能移动办公平台,是数字经济时代的企业组织协同办公和应用开发平台,提供PC版,Web版,Mac版和手机版,支持手机和电脑间文件互传,也是很多学校师生上网课常用的软件
最近才更新到微信的最新版本,早有耳闻公众号变成了微博似的信息流展示信息。之前也没有太在意,这次微信客户端版本更新以后,发现坏了坏了,以往的阅读习惯已经被彻底毁掉了。 下面两图都是我手机上的截图,左边是新的信息流模式,右边是信息流界面下点击右上角图标,回到的 “类似以往” 的基于订阅号发布者的模式。 从这个角度说,基于时间的信息流,有益,但多数情况下并不能带来特别大的好处。而且,微信信息流优先级还不完善,用户更感兴趣的内容很容易被淹没在茫茫信息大海之中。 其次,微信公众号的文章数量如何? 如果文章数量众多,那么基于信息流一定程度上可以提高浏览效率。 但是信息流以后呢?文章质量的重要程度,明显下降。 再说说基于订阅号的这另一半 订阅号最大的好处,在于基于消息发布者的消息组织。
推荐5个非常好用的AI工具,也是我目前使用频率比较高和准备使用的工具,很香。 Chatgpt不在此推荐中啊,在目前的AI工具中,Chatgpt是大哥,既然是大哥,大哥都知道,就不推荐了,然而其目前主要支持文本输出,虽然丰富的插件拓宽了使用场景,但虽是尊贵的Plus,仍旧有3个小时只能输出 FORM=GENILP 推荐理由: AI绘画软件有很多,为什么推荐这个呢? 重点是比较好用,而且完全免费哈。 Bing 图形创建器,由DALL.E驱动,DALL.E是什么? 第二款 Adobe firefly 访问地址:https://firefly.adobe.com/ 类型:AI图片处理 推荐理由: 好用强大且免费。 第五款 Filmora 类型:视频编辑 推荐理由: 说时候,看到这款软件的时候,我也在想,要是早有这款软件该多好,就不用熬那么多夜剪片子了,也怪我技术不好。
推荐5款好用且功能强大的软件卸载神器,让你从此告别各种流氓软件,还能自动删除残留文件和注册表项,一定不要错过! 5、CCleaner 网址:ccleaner.com/ CCleaner跟前面几个软件不同,主打的是电脑的清洁,不过其中也包括软件卸载的功能,再加上强大的清洁功能,当做一个卸载工具使用也是可以的。
分享嘉宾:罗锦文 腾讯 研究员 编辑整理:Jane Zhang 出品平台:DataFunTalk 导读:当前各大资讯社交类APP都在显著的版面展示或者推荐热点相关内容,信息流应用能否快速发现热点、引导用户阅读热点 用户搜索和媒体生产能够从消费和生产两个方面更加准确的度量热度,事件和话题同时能够辅助用户理解,做到热点的个性化下发,从而提升信息流热点体验。 接下来能看到热点推荐有没有从事件推荐的角度来理解文章。有没有从事件的角度来理解文章,是提升热点推荐效果需要重点讨论的点。带着这几个问题,来看看传统的相关研究是怎么解决这个问题的。 ,提升热点推荐的效果。 作为信息流服务的团队,每天打交道最多的是海量数据。当热门发生时,自媒体作者会主动跟进热点,创作文章跟进这些内容,比如当科比去世的一个小时后,即便是凌晨四点,作者也会也及时更新做报道。
今天给大家安利超超超级实用的5款Chrome浏览器插件。 从学术网站浏览到文献阅读下载,再到文章润色纠错,可以说是豪华全家桶科研套餐,让你的Chrome秒变科研神器!
这里是 JavaGuide 的「优质开源项目推荐」第 4 期,每一期我都会精选 5 个高质量的 Java 开源项目推荐给大家。 既然立了 Flag ,那就不能说说而已! 前 4 期的项目推荐 : 换掉 Postman + Swagger + JMeter,这 5 个 Java 项目绝了!。 用 Java 写个沙盒塔防游戏! 这个开发神器效率爆炸,功能强大 今天推荐的 5 个项目是: DolphinScheduler : 分布式易扩展的可视化工作流任务调度平台 Jarboot : 可视化 Java 进程管理平台。 如果想要本地体验 DolphinScheduler 功能的话,推荐单机模式,生产环境部署的话不推荐单机模式,因为单机模式下使用 H2 Database 和 Zookeeper Testing Server :这个 SpringBoot 电商系统值得推荐!
业务背景 对于今日头条、抖音、西瓜视频等字节跳动旗下产品,基于 Feed 流和短时效的推荐是核心业务场景。而推荐系统最基础的燃料是特征,高效生产基础特征对业务推荐系统的迭代至关重要。 主要业务场景 抖音、火山短视频等为代表的短视频应用推荐场景,例如 Feed 流推荐、关注、社交、同城等各个场景,整体在国内大概有 6 亿 + 规模 DAU; 头条、西瓜等为代表的 Feed 信息流推荐场景 有状态特征是非常重要的一类特征,其中最常用的就是带有各种窗口的特征,例如统计最近 5 分钟视频的播放 VV 等。 State 的场景多是 get-update,在使用 RocksDB 作为本地状态存储的过程中,出现过以下问题: 爬虫数据导致热 key,状态会不断进行更新 (get-update),单 KV 数据达到 5MB 抽象通用实时计算系统、构建统一的推荐特征中台,实现灵活可扩展的高性能存储系统和计算模型,为推荐业务实现先进的消重、计数、特征服务等实时推荐数据流系统。
推荐的有收费有免费有试用的,小编还是尽量推荐一些免费的,必定收费的伤不起,只是找回的话,随便一款能试用就行。 当然数据过多的话也要看他支持回恢复多大的数据 不同系统的手机适配的数据恢复软件有所差异,下面分别推荐适配安卓和iOS系统的免费手机数据恢复软件,同时附上官方地址,没提供的说明真心没找到 1. image 官方地址:https://www.fenloger.com/ 5、Windows File Recovery 这个是电脑版的微软官方命令行工具 下载途径:MicosoftStore 搜索 Windows
在本文中,我们将根据在项目中使用它们以及我们寻找最适合使用的工具时的个人经验,为你们推荐五个最好的免费图像注释工具。
5.ONLYOFFICE ONLYOFFICE是一款开源且免费的办公套件,向用户提供了文本文档,电子表格,演示文稿,以及免费的表单模板等功能。在最新的版本更新中又添加了加密版本的协作空间。 结语; 以上就是我给大家分享的几款比较值得推荐的能与客户或企业之前协作的平台,如果你有更好的协作平台可以推荐,欢迎在评论区讨论。
再结合具体的环境(时间、网络环境和位置信息等),向用户推荐其可能感兴趣的广告,从而提升广告和用户的匹配度,促进用户转化 转化效果是大家最关心的,信息流广告的投放都在线上,广告投放效果能够量化,用户各个维度的数据也都可以被统计到 搜索引擎广告是典型的原生广告,广告的样式和搜索出的词条内容非常相似,并且广告的内容和用户的搜索意图相关,转化效果较好 「信息流广告」是媒体主动推荐给用户的广告,可以出现在任意内容中间,搜索引擎广告是用户搜索关键词之后才能展现的 选标题 如果已有创意不行,那么提升效果也不会太理想 巨量引擎广告系统不仅能推荐定向,还能推荐标题 4. 创意还要有“一句话,大部分是要优化师自己来写的,一般不能超过 30个字,媒体也会有“推荐标题”的参考 信息流广告是效果广告,有尝试成本低、数据可以即时反馈效果的特点,更新迭代速度很快,这也造成了信息流广告创意 一个消耗在 1 万元左右的账户,一周按5 个工作日来算,一周出 2~5 个视频或者 5~10 套图片都比较常见 由于信息流媒体本身就有UGC、大众参与的属性,所以拍摄的水平、广告的画质都有限,短视频的质量无法与专业视频的质量相比