如何对Word2Vec数据进行预处理？

Question

我有文本数据，这是从网站爬行。我正在对数据进行预处理以训练Word2Vec模型。我应该去掉止痛药然后做柠檬化吗？如何对Word2Vec数据进行预处理？

Answer 1

欢迎来到社区，

我不知道其他库，但是gensim有一个非常好的API来创建word2vec模型。为了对数据进行预处理，你必须先决定你要把什么东西保存在你的词汇里等等。例如：-标点符号、数字、字母数字词(前42位)等。

据我所知，最常见的预处理管道如下：

( 1)将标点符号/符号/数字移除(但这是你的选择)；( 3)使单词规范化(使单词归一化并停止)

一旦完成，现在您可以将这个句子标记为uni/bi/tri。

看看这

在gensim.models.word2vec()S语句参数中放置数据的通用格式是：[标记句1，标记句2.....and等]

希望能帮上忙，谢谢！