使用OpenNMT进行迁移学习

Question

我正在使用OpenNMT-py对MIDI音乐文件训练一个转换器模型，但结果很差，因为我只能访问与我想要研究的风格相关的一个小数据集。为了帮助模型学习一些有用的东西，我想使用一个更大的其他音乐风格的数据集进行预训练，然后使用小数据集对结果进行微调。

我想在预训练后冻结变压器的编码器一侧，让解码器部分自由进行微调。如何使用OpenNMT-py做到这一点？

Answer 1

请更具体地说明你的问题，并展示一些代码，这些代码将帮助你从SO社区获得富有成效的回应。

如果我处在你的位置，想要冻结一个神经网络组件，我会简单地这样做：

for name, param in self.encoder.named_parameters():
    param.requires_grad = False

在这里，我假设您有一个如下所示的NN模块。

class Net(nn.Module):
    def __init__(self, params):
        super(Net, self).__init__()

        self.encoder = TransformerEncoder(num_layers,
                                        d_model, 
                                        heads, 
                                        d_ff, 
                                        dropout, 
                                        embeddings,
                                        max_relative_positions)

    def foward(self):
        # write your code