在2D中可视化Gensim短语的向量

Question

我正在使用Phrases类，并希望在2D空间中可视化向量。为了在Word2Vec上做到这一点，我使用了T-SNE，它工作得很好。当我试图对短语做同样的事情时，它没有任何意义(单词出现在不相关的单词旁边)。

对于如何可视化短语输出，有什么建议吗？

Answer 1

正如gensim mailing list上建议/报告的那样，关键问题是仅仅在Phrases中包装语料库会导致迭代器只提供一次数据传递。Word2Vec模型需要一个语料库，它可以在语料库上进行多次遍历以进行词汇表发现，然后进行多次遍历训练。(如果密切关注信息级日志记录，应该有迹象表明，在这种情况下，“培训”几乎立即结束。)