我正在做一个元学习研究,并且正在使用learn2learn提供的MAML优化。然而,作为基准之一,我想测试一种非元学习方法,即传统的训练+测试。
Due to the lightning's internal usage of optimizer it seems that it is difficult to make the MAML work with learn2learn in lightning,所以我不能在我的元学习设置中使用lightning,但是对于我的基准,我真的喜欢使用lightning,因为它提供了许多方便的功能,比如深度速度或开箱即用的ddp。
这是我的问题,除了设置两个单独的文件夹/repos之外,我如何将vanilia pytorch (learn2learn)和pytorch lightning (基准)混合在一起?最佳实践是什么?
谢谢!
发布于 2021-07-15 02:27:56
决定回答我的问题。所以我最终使用了手电筒闪电的手动优化,这样我就可以定制optimization step了。这将使两种方法使用相同的框架,我认为这比维护两个单独的repos要好。
https://stackoverflow.com/questions/68359563
复制相似问题