如何训练神经词嵌入？

Question

所以我对深度学习和NLP很陌生。我读过几篇关于媒体、数据科学和论文的博客文章，在这些文章中，他们以一种非监督的方式对单词嵌入进行预培训，然后在监督的DNN中使用它们。但是最近我读到了一个博客帖子，它建议在训练神经网络的同时训练单词嵌入会带来更好的效果。这是另一个链接。

所以我的问题是我该跟着哪一个？

我提到的一些YouTube视频：

1. 无魔法NLP的深度学习第1、2和3部分

Answer 1

有一个答案需要知道:尝试这两种方法，并采取一种能带来最佳效果的方法。我想说的是，一般来说，预先训练过的嵌入通常会带来更好的效果。您还可以从预置的嵌入作为初始条件开始，让嵌入以更小的学习速度训练。

在任何情况下，当前的文本分类技术都是ULMFIT (https://arxiv.org/abs/1801.06146)，实际上它没有这样做。它使用维基百科和目标文本中的语言模型对嵌入和RNN进行预处理，然后用目标文本对整个模型进行微调。

Answer 2

这取决于对培训数据、计算预算和期望的性能水平的访问。

从零开始的培训嵌入将需要培训数据和计算资源。如果两者都可以访问，那么对于后续的监督学习模型来说，提高性能的可能性就会增加。

使用预先训练过的嵌入不需要训练，因此没有训练数据或计算资源。这些嵌入对于特定的监督学习任务可能有用，也可能没有用。

一种选择是采用预先训练过的嵌入，然后用特定于项目的数据对它们进行微调的混合方法。这具有使用预先训练的嵌入的所有优点，并且可以利用特定任务的数据。这假设您可以获得必要的计算预算和技术技能。