PyTorch LSTM -使用word嵌入而不是nn.Embedding()

Question

nn.Embedding()对于学习LSTM是必不可少的吗？

我在PyTorch中使用LSTM来预测NER类似任务的例子在这里- tutorial.html。

就代码而言，我使用的代码几乎与上述教程中的代码相同。

唯一的细节是-我使用的是word2Vec而不是nn.Embedding()。

因此，我删除了nn.Embedding()层，直接从word2Vec中提供了前向函数。RNN不学习。

因此，nn.Embedding()对于学习LSTM是必不可少的吗？

Answer 1

nn.Embedding为您提供了一个嵌入层。

这意味着该层接受您的单词令牌ids，并将这些ids转换为字向量。

您可以在培训过程中了解nn.Embedding层的权重，也可以加载预先训练过的嵌入权重。

当您想要使用预先训练的word2vec (嵌入)模型时，您只需将经过预先训练的权重加载到nn.Embedding层。

你可以在how to load a word2vec embedding layer using gensim library.上看一下

我希望这能帮到你。