Hierarchically Structured Meta-learning Huaxiu Yao, Ying Wei, Junzhou Huang, Zhenhui Li (Submitted on 13 May 2019) In order to learn quickly with few samples, meta-learning utilizes prior knowledge learned However, a critical challenge in meta-learning is task uncertainty and heterogeneity, which can not be In this paper, based on gradient-based meta-learning, we propose a hierarchically structured meta-learning
因此,我们在之前基于梯度的模型不可知元学习(MAML,model-agnostic meta-learning)工作的基础上构建了我们的方法,该工作已经在少数设置下成功使用。
元学习(Meta-learning):学习如何学习的机器学习 元学习(Meta-learning),即“学习如何学习”,是机器学习领域中一个令人兴奋且极具潜力的研究方向。 这类方法中比较经典的是 RNN 元学习(RNN-based Meta-learning),其基本思路是使用 RNN 来充当学习器,通过循环网络记住如何进行学习。 这类方法的代表是 Model-Agnostic Meta-Learning (MAML),MAML 的核心思想是训练一个模型的初始参数,使得它在遇到新任务时能够通过少量的梯度更新迅速收敛。 Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. ICML. Meta-Learning with Memory-Augmented Neural Networks. ICML. PyTorch Documentation
最近在研究的线路就是: metal learning + episodic memory.
引言 元学习(Meta-learning)是机器学习中的一个重要概念,通常被称为“学习如何学习”。它使得机器不仅能够在特定任务上进行学习,还能学习如何从一个任务中迁移知识,以更高效地完成新的任务。 元学习(Meta-learning)是指算法能够从过去的经验中总结出一种策略,以帮助其在面对新的任务时能快速地学习。 最著名的基于优化的元学习算法是Model-Agnostic Meta-Learning(MAML)。 3.1.1 MAML(Model-Agnostic Meta-Learning) MAML是一种通用的元学习算法,其目标是在多个任务上进行训练,从而获得一个能够通过少量梯度更新快速适应新任务的模型。
文章结构 A Survey of Deep Meta-Learning的文章结构分为三部分 理论基础。 总结和归纳关键的方法,这些方法主要分为以下三种: 基于度量的方法。 基于模型的方法。 基于梯度的方法 Model-agnostic meta-learning ? ? ? ? ? ? 未来挑战 ? ?
【论文阅读】Curriculum Meta-Learning for Next POI Recommendation Metadata authors:: Yudong Chen, Xin Wang, 为了同时解决这两个挑战,论文提出了一个新颖的 Curriculum Hardness Aware Meta-Learning(CHAML)框架,通过将元学习和非均匀采样策略纳入下一个 POI 搜索推荐, 论文主要贡献: 第一个探索 POI 推荐中的城市转移问题,并通过元学习解决这个问题; 提出了一个新颖的 Curriculum Hardness Aware Meta-Learning(CHAML)框架, Meta-Learning with Hardness Awareness 在随机抽样过程中,MAML 倾向于过拟合一些简单的模式(例如对某个 POI 的重复搜索),但是难以学习没有明显规律的搜索模式 Rate Prediction [3] Model-agnostic meta-learning for fast adaptation of deep networks
今天的文章为你带来对Model-Agnostic Meta-Learning (MAML)算法的一些理解! No.1 背景 人类可以通过极少的数量来识别新的物体。 No.2 MAML Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks是发表在2017年ICML的一篇文章。 Meta-Learning for Fast Adaptation of Deep Networks ? 在其后,有很多工作以其为基础进行了进一步的研究,例如,牛津大学的Harkirat Singh Behl发表的论文Alpha MAML: Adaptive Model-Agnostic Meta-Learning 在MAML的基础上融合了进行了升级,使其学习率也可以随着loss的改变进行改变,进一步提升了训练效率;华盛顿大学的Aravind Rajeswaran发表的论文Meta-Learning with Implicit
本文主要介绍另外一种Meta-Learning算法:MAML,它不改变深度神经网络的结构,只改变网络的初始化参数。 Meta-Learning的数据划分 首先我先用一段不严谨的语言描述一下Meta-Learning:我们假定传统的深度学习算法是给100道化学题让他学会做化学题(再用50道化学题进行测试),MAML算法则是用 自然地,Meta-Learning的数据集肯定不是像传统DL那样简单划分为训练集和测试集: ? 如上图所示,在Meta-Learning上,我们不再直接叫train和test了,而是叫Meta-train和Meta-test。 这部分主要是掌握Meta-Learning的数据集是如何划分的即可,具体MAML的细节下一部分会具体阐述。 MAML算法 ?
欢迎关注我~定期更新干货算法笔记和世间万物的学习记录~ Meta-learning可以理解为一种求解问题的工具,下面举一个例子,通俗的说明meta-learning的作用。 本文首先从不同角度介绍对meta-learning的理解,然后进一步介绍meta-learning的典型模型MAML的原理。 Meta-learning的不同角度解释 本小节从不同角度理解meta-learning,相关资料可以参考这篇meta-learning的survey,介绍的比较全面:Meta-Learning in MAML模型,也是目前最经典的meta-learning算法之一,是很多后续meta-learning研究的基础,理解MAML算法原理是理解meta-learning的核心。 总结 本文从基础的meta-learning原理出发,从不同角度理解meta-learning,并进一步介绍了meta-learning中的代表性工作MAML。
meta-learning虽然目的是learning to learn,但是其问题设定和few-shot的设定在我们看来是一种父类和子类的关系--他们都要求在新任务上只使用少量样本快速适应(fast adapt ),而meta-learning假设更充分。 而为什么总是看到few-shot在用meta-learning的setting呢?因为确实巧妇难为无米之炊,新任务如果真的只有一两个样本可以训练,这个问题几乎无解。 个人对meta-learning的了解不多,相关的论文并没有深读下去。但对针对few-shot learning还是做了一些研究的。 meta-learning是一种学习策略,一种框架。 针对 few-shot 的场景,meta-learning是一种有效的方式。
作者:Maruan Al-Shedivat, Trapit Bansal, Yura Burda等
Meta-Learning标准学习是基于能够在多个数据实例上提高性能的算法。 元学习是对其进行扩展,指的是在多个学习片段中改进算法的过程。
而meta-learning正是让模型实现上述能力的方法。 3 基于meta-learning的方法 基于meta-learning的长尾问题解决方法又可以分为两种思路,一种是利用meta-learning生成长尾用户或商品的良好embedding,另一种是利用 meta-learning让模型获得在小样本上的快速学习能力。 本文提出了基于meta-learning的冷启动广告embedding学习方法。首先将每个ad的ctr预测看成是meta-learning中一个独立的任务。 embedding层不使用meta-learning,只在全连接层进行meta-learning。
欢迎关注我~定期更新干货算法笔记和世间万物的学习记录~ 在Meta-learning核心思想及近年顶会3个优化方向一文中,我们从meta-learning的基础思想出发,并介绍了MAML经典模型,以及在此基础上最近 3年学术界对meta-learning算法本身的不同角度优化。 Meta-learning可以理解为是一个工具,它可以应用于很多不同的场景中,利用meta-learning两层优化目标的思路解决特定场景下的问题。 本文梳理了业内近几年利用meta-learning解决不同场景问题的顶会论文,涉及meta-learning在域自适应、迁移学习、图学习、正负样本不均衡、知识蒸馏等多个场景的应用,帮助大家更深入的理解meta-learning Meta-learning经常被用于改进原来两阶段训练的模型,让两阶段的训练更加统一,通过meta-learning建立起两阶段训练的桥梁。 END
元学习任务(meta-learning tasks, including training tasks and testing tasks): 在meta-learning场景下,我们的training 也就是说,meta-learning的任务是让我们学习在不同任务上处理相似问题的能力,这样当我们在遇到新的类似任务的时候,也可以通过很少的例子(few-shot),来进行相关的预测。 A good meta-learning model should be trained over avariety of learning tasks and optimized for the best 用公式来说,meta-learning的学习任务就是学习一个普遍的设置(a sharing knowledge),可以利用这个普遍的设置 (sharing knowledge) 来帮助我们快速在新的task 比如说,这个sharing knowledge可以是模型参数的初始值(parameter initialization), 我们可以通过meta-learning在training tasks上进行训练
for Few-shot Natural Language Processing: A Survey[50] Learning from Few Samples: A Survey[51] Meta-Learning in Neural Networks: A Survey[52] A Comprehensive Overview and Survey of Recent Advances in Meta-Learning [53] Baby steps towards few-shot learning with multiple semantics[54] Meta-Learning: A Survey[55] A Perspective View And Survey Of Meta-learning[56] 其他 A Survey on Transfer Learning[57] 本文参考资料 [1] AI-Surveys: https : A Survey: https://arxiv.org/abs/1810.03548 [56] A Perspective View And Survey Of Meta-learning: https
for Few-shot Natural Language Processing: A Survey[50] Learning from Few Samples: A Survey[51] Meta-Learning in Neural Networks: A Survey[52] A Comprehensive Overview and Survey of Recent Advances in Meta-Learning [53] Baby steps towards few-shot learning with multiple semantics[54] Meta-Learning: A Survey[55] A Perspective View And Survey Of Meta-learning[56] 其他 A Survey on Transfer Learning[57] 本文参考资料 [1] AI-Surveys: https : A Survey: https://arxiv.org/abs/1810.03548 [56] A Perspective View And Survey Of Meta-learning: https
for Few-shot Natural Language Processing: A Survey[50] Learning from Few Samples: A Survey[51] Meta-Learning in Neural Networks: A Survey[52] A Comprehensive Overview and Survey of Recent Advances in Meta-Learning [53] Baby steps towards few-shot learning with multiple semantics[54] Meta-Learning: A Survey[55] A Perspective View And Survey Of Meta-learning[56] 其他 A Survey on Transfer Learning[57] 本文参考资料 [1] AI-Surveys: https : A Survey: https://arxiv.org/abs/1810.03548 [56] A Perspective View And Survey Of Meta-learning: https
for Few-shot Natural Language Processing: A Survey[50] Learning from Few Samples: A Survey[51] Meta-Learning in Neural Networks: A Survey[52] A Comprehensive Overview and Survey of Recent Advances in Meta-Learning [53] Baby steps towards few-shot learning with multiple semantics[54] Meta-Learning: A Survey[55] A Perspective View And Survey Of Meta-learning[56] 其他 A Survey on Transfer Learning[57] 一起交流 想和你一起学习进步! : A Survey: https://arxiv.org/abs/1810.03548 [56] A Perspective View And Survey Of Meta-learning: https