这是Machine-Learning-Collage系列,每隔一周作者都会编写一个本周论文的幻灯片摘要。每月底所有的幻灯片画都会被集中到一个总结文章中。作者希望给读者一个直观和直观的一些最酷的趋势。 以下是作者在2021年3月读到的四篇最喜欢的论文,以及为什么我相信它们对深度学习的未来很重要。 论文中使用经过优化的超参数训练神经网络。并提出的称为MODAC的元梯度方法能够发现有用的策略选项。元梯度方法可以从任务分布中提取有意义的规律性。 论文中的消融研究旨在提取存储在不同级别的内容信息。通过切断流入顶层的输入信号,作者能够证明顶层为低层提供全局的非特定信息。
现在已经是3月中旬了,我们这次推荐一些2月和3月发布的论文。 Why do Learning Rates Transfer? Stable Diffusion 3 https://stability.ai/news/stable-diffusion-3-research-paper 最新的SD3优于DALL·e3、Midjourney v6,新的多模态扩散Transformer(Multimodal Diffusion Transformer, MMDiT)架构为图像和语言表示使用独立的权重集,与以前版本的SD3相比,这提高了文本理解和拼写能力 论文将18B模型作为基线,评估表明gpt - 4v生成的代码有时比人工合成的代码更受欢迎。
来自:RUC AI Box 导读 下面论文列表为本小组同学推荐和整理,关于论文细节请联系论文作者。内容涵盖以下研究方向:文本生成、知识库问答、对话系统、推荐系统、情感分析、风格迁移。 本周论文推荐 1 文本生成 code2seq: Generating Sequences from Structured Representations of Code. EMNLP 2019 3 对话系统 EnsembleGAN: Adversarial Learning for Retrieval-Generation Ensemble Model on Short-Text SIGIR 2019 4 推荐系统 Adversarial Training for Review-Based Recommendations.
recommendations selected by the previous versions of the recommender(只考虑正反馈,可考虑负反馈或是被忽视的item) 所以作者提出了以强化学习为基础的推荐系统 feedback collected form multiple behavior policies(利用importance sampling方法实现离线训练,看不懂转李宏毅力强化学习,看PPO哈) (3) top-k off-policy correction to account for our policy recommending multiple items at a time(作者提出可以每次推荐多个 (强化学习的优点还在于探索未知,提高推荐满意度),同时线上环境真实训练) proposed model 为了方便大家理解,我就先把模型图给解释清楚。 image.png image.png image.png Top-K Off-Policy Correction 但是推荐系统一般是一下子推荐好几个东西,作者提出如下修正: image.png
我们今天来总结一下2024年3月上半月份发表的最重要的论文,无论您是研究人员、从业者还是爱好者,本文都将提供有关计算机视觉中最先进的技术和工具重要信息。 Diffusion Models 1. 论文提出了一个outfitting UNet来学习服装细节特征,并通过扩散模型去噪过程中的outfitting融合将其与目标人体融合。 论文提出了分辨率适配器(ResAdapter),用于生成具有不受限制的分辨率和宽高比的图像。 https://arxiv.org/abs/2403.02084 3. 论文深入研究了基于视觉的演绎推理,这是一个更复杂但较少探索的领域,并在当前的SOTA VLMs中发现了以前未暴露的盲点。
今天开篇就来介绍我一直很关注也一直在做的 GAN 方面的部分论文(不是全部,分批介绍吧)。 今天会介绍的论文有(全部来自 ICLR 2017 submissions): 1. Daniel Jiwoong Im, He Ma, Chris Dongjoo Kim, Graham Taylor 3. Junbo Zhao, Michael Mathieu, Yann LeCun ................为此,这篇论文[1] 提出一种 mode-regularized 的思想,来增加对 GAN 所以,这篇论文[1] 给出的是一种 rugularizer for GAN,而用这样的 regularizer 的 GAN 就被作者叫做 Regularized-GAN(在实验中)。..........
3D 数据集的分析在现阶段变得特别具有挑战性,因为它们的大小(TB)很大,并且存在散布在成像体积内的伪影。论文训练了 3D 卷积神经网络 (CNN) 来分割 3D 数据集。 为了克服这个问题,论文入了一个可以预测变形微结构的均质特性的 3D CNN ,称为 DH-Net 。在基于最小势能的损失函数中,将宏观应变视为常数。 论文中将深度学习应用于来自 fMRI 数据,并研究不同的 3D 增强技术如何影响测试准确性。 论文提出了一种简单而有效的填充方案——插值感知填充,在非空voxels 的附近填充一些空voxels ,并将它们包含在3D CNN计算中,这样当通过三线性插值计算点向特征时,所有邻近体素都存在。 通过对各种 3D 分割和检测任务的广泛比较,证明了 3D 稀疏 CNN 与的论文填充方案结合特征插值的优越性 作者:MonoDeep
欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。 数据增强在每一个深度学习项目中都是必要的操作,今天给大家推荐在计算机视觉中常用的数据增强相关的论文。 文章引用量:6000+ 推荐指数:✦✦✦✦✧ ? [3] Chawla N V, Bowyer K W, Hall L O, et al. 往期精选 【每周论文推荐】 初入深度学习CV领域必读的几篇文章 【每周CV论文推荐】 掌握残差网络必读的10多篇文章 【每周CV论文推荐】 初学者必须精读的5篇深度学习优化相关文章 【每周NLP论文推荐 】从预训练模型掌握NLP的基本发展脉络 【每周NLP论文推荐】 NLP中命名实体识别从机器学习到深度学习的代表性研究 【每周NLP论文推荐】 介绍语义匹配中的经典文章
重新思考的注意力机制,Performers是由谷歌,剑桥大学,DeepMind,和艾伦图灵研究所发布在2021 ICLR的论文已经超过500次引用 传统的Transformer的使用softmax 注意力 较小的 Transformer (nlayer = 3) 很快就限制在 19%,而 Performer 能够持续训练到 24%。 论文地址: [2021 ICLR] [Performer]Rethinking Attention with Performers https://openreview.net/forum?
上周有粉丝私信老shi想要找推荐系统相关的论文,刚好这两天老shi无意中在b站上观看了国内某知名大学教授关于目前博士生就业问题相关论文解说的视频,感觉很有意思,就萌生了给大家翻译一篇经典的推荐系统论文的想法 本期课程老shi决定给大家带来一篇2003年亚马逊曾经发表过的论文《Amazon.com Recommendations Item-to-Item Collaborative Filtering》翻译, 这篇论文可谓是一篇比较早的经典的基于Item-to-Item(商品-商品)的协同过滤论文了。 我们的算法实时产生推荐,适用于海量数据集,并产生高质量的推荐。 推荐算法 大多数推荐算法都从找顾户数据集开始,他们买过和评论过的商品,与当前用户买过和评论过的商品有重叠。 由于该算法能推荐高度关联的相似商品,推荐的质量就很出色。与传统的协同过滤不同,该算法在用户数据有限的情况下也能运行良好,在少至2到3件商品的基础上,产生高质量的推荐。
论文打包带走!!! 后台回复:因子研究论文
重新思考的注意力机制,Performers是由谷歌,剑桥大学,DeepMind,和艾伦图灵研究所发布在2021 ICLR的论文已经超过500次引用。 较小的 Transformer (nlayer = 3) 很快就限制在 19%,而 Performer 能够持续训练到 24%。 论文地址: [2021 ICLR] [Performer]Rethinking Attention with Performers https://openreview.net/forum?
今天推荐FAQ相关的论文,FAQ是聊天机器人的一种,它主要是基于用户的question,匹配相应的答案,返回给用户answer,没有太多的多轮交互。FAQ有较多的应用,如天猫精灵,小度等。 本篇论文还介绍了The Ubuntu Dialogue Corpus数据集,可以用于FAQ的研究。 文章引用量:100+ 推荐指数:✦✦✦✦✦ ? 因为BERT是趋势,这里介绍一篇基于BERT的FQA论文。 文章引用量:80+ 推荐指数:✦✦✦✦✧ ? ? [2] Tan M , Santos C D , Xiang B , et al. ACM, 2016. 3 结合context的multi-view模型 随着FAQ的发展,开始考虑用户上下文来匹配答案。考虑语境,能够更为精准的找到答案。 文章引用量:较少 推荐指数:✦✦✦✦✦ ? 如下图所示,基本的模式类似,只是在特征提取时,用了BERT,具体细节,感兴趣的同学可以看论文。 文章引用量:较少 推荐指数:✦✦✦✦✧ ?
Nature官方还对此在推特账号上发文推荐! 这是一个公开声明 我经常使用生成型人工智能(AI)工具。 文献链接:https://www.nature.com/articles/d41586-024-01042-3 提升学术写作 你是否听说过房地产中的一句话:“地段、地段、地段”? 当你使用ChatGPT来优化论文中的某一部分时,首先要明确语境。你的论文主题是什么,你的主要论点是什么?以任何形式记录这些信息,比如简要的要点,然后将这些信息提供给你选择的生成AI。 根据我对一篇关于【领域】的论文的总结,按以下顺序对其进行详细审查:1)简要讨论其核心内容;2)识别其局限性;3)按重要性顺序解释每个局限性的意义。始终保持简明和专业的语调。” 毫无疑问,考虑到这些好处, 《Nature》都推荐了,你还在等什么呢?
前言 本文主要推荐一些生成对抗网络(GAN,generative adversarial networks)相关的值得精读的论文,主要涉及GAN的优化,图像翻译,视频预测三个领域,可以作为GAN 在损失函数的优化论文方面,效果比较突出且使用较多的主要有三篇论文,分别是:lsgan, wgan-gp, 谱归一化GAN: Improved training of Wasserstein GANs : 3.Stacked generative adversarial networks :https://arxiv.org/abs/1612.04357 4.StackGAN: Text to photo-realistic 论文的推荐顺序既可以用来快速查找,也可以用来作为进阶的阅读顺序,人力有时穷,还有更多未提到的较好工作,欢迎补充。 ,就可以查找希望看到的论文。
导读 下面论文列表为本小组同学推荐和整理,关于论文细节请联系论文作者。内容涵盖以下研究方向:对抗生成网络、知识图谱补全、推荐系统、文本生成、元学习。 来自:RUC AI Box 实验室 本周论文推荐 1 对抗生成网络 Social-BiGAT: Multimodal Trajectory Forecasting using Bicycle-GAN EMNLP 2019 3 推荐系统 Reinforcement Knowledge Graph Reasoning for Explainable Recommendation.
今天的推荐来自AQR,是关于机器学习论文的推荐。从“实证资产定价”,到“金融领域如何有效的利用机器学习模型”,再到“如何更有效的进行策略测试”等。 一共五篇论文,每篇都是经典,都值得仔细阅读:文末附下载。 获奖者是从The Journal of Investment Management 2020年发表的论文中选出的。 资产管理中,机器学习面临着一系列独特的挑战,与机器学习擅长的其他领域明显不同。 论文下载方式 后台回复:AQR2022
总之,DCGAN 论文是一篇必读的 GAN 论文,因为它以一种非常清晰的方式定义架构,因此很容易从一些代码开始,并开始形成开发 GAN的直觉。 ? , Alec Radford, Xi Chen https://arxiv.org/abs/1606.03498 3、Conditional GANs — Mirza and Osindero (2014 ) 这是一篇很好的论文,读起来很顺畅。 不过,这篇论文对构成当前最先进技术水平的基础论文的思想提供了很好的概述,因此非常值得阅读。 ? 这篇论文定义了 GAN 框架,并讨论了 “非饱和” 损失函数。论文还给出了最优判别器的推导,这是近年来 GAN 论文中经常出现的一个证明。
欢迎来到《每周NLP论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。 知识图谱是NLP中非常重要的底层基础建筑。 文章引用量:30+ 推荐指数:✦✦✦✦✦ ? [1] 刘峤,李杨,段宏,刘瑶,秦志光. 知识图谱构建技术综 述[J]. 计算机研究与发展, 2016, 53(3): 582-600. 文章引用量:100+ 推荐指数:✦✦✦✦✧ ? [3] Bechhofer S. OWL: Web Ontology Language[J]. Encyclopedia of Information Science & Technology Second Edition, 2004, 63(45):990–996. 3 DBpedia DBpedia 目前的趋势都是采用联合抽取的方式,这里介绍2篇比较典型的论文。 文章引用量:20+ 推荐指数:✦✦✦✦✦ ? [5] Zheng S , Wang F , Bao H , et al.
检索到了两篇关于推荐系统的论文,一篇是关于在知识图上改进负采样策略的,另一篇是在图上进行对抗学习的综述。 Reinforced Negative Sampling over Knowledge Graph for Recommendation 关键字:强化学习+知识图+矩阵分解 概述:正确处理缺失数据是推荐场景中的一项基本挑战 目前的大多数工作都是从未观察到的数据中进行负采样,从而为推荐模型的训练提供负样本。但是,现有的静态或自适应负采样策略不足以产生高质量的负采样,也不利于模型训练和反映用户的实际需求。 具体而言,通过执行设计的探索操作,它可以从目标正互动中导航,自适应地接收具有知识意识的负信号,并最终产生潜在的负样本来训练推荐系统。