如何用word2vec工具计算语言模型？

Question

我试图建立一个神经网络语言模型，似乎Mikolov等人的word2vec工具是一个很好的工具。我试过了，但它只产生单词表示。有谁知道我如何通过这个工具或任何其他合理的深度学习框架来生成语言模型？

Answer 1

在Gensim中实现的Doc2Vec完成了这项工作。诀窍是，他们使用文档ID作为上下文单词，它存在于文档中所有单词的所有窗口大小中。

代码是这里是Python/Gensim

Answer 2

微软研究公司已经发布了一个带有Word2vec风格向量的语言建模工具包。你可以找到它，这里。

Answer 3

word2vec是一个工具，用来将单个单词(一组单词)表示为一个数字向量。因此，它与语言模型没有直接关系。

要生成语言模型，可以使用MITLM来完成。例如，您可以使用下面的命令使用Lectures.txt语料库创建一个N克模型：

estimate-ngram -text Lectures.txt -write-lm Lectures.lm

一个很好的教程可以找到这里。