文档分类:预处理和多标签

Question

我有一个关于单词表示算法的问题: word2Vec，doc2Vec和Tf-IDF算法中哪一个更适合处理文本分类任务？我的监督学习分类中使用的语料库由多个句子的列表组成，其中既有短句子，也有长句子。正如在this thread中所讨论的，doc2vec与word2vec的选择是文档长度的问题。至于Tf-Idf与word嵌入，这更多的是文本表示的问题。

我的另一个问题是，如果对于同一个语料库，我有多个标签链接到其中的句子，该怎么办？如果我为同一个句子创建了多个条目/标签，它会影响最终分类算法的决策。我如何告诉模型文档中的每一句话每个标签都是相等的？

先谢谢你，

Answer 1

你应该尝试多种方法把你的句子转换成“特征向量”。没有硬性的规则；什么对你的项目最有效将在很大程度上取决于你的特定数据，问题域和分类目标。

(不要从其他答案中推断出指导原则-例如您链接的关于文档相似性而不是分类的答案-作为您项目的最佳实践。)

首先，您可能想要关注数据的一些简单的“二进制分类”方面。例如，拾取单个标签。在所有文本上进行训练，只是试图预测一个标签是否适用。

当你有了工作，所以你理解了每个步骤-语料库准备，文本处理，特征向量化，分类-训练，分类-评估-然后你可以尝试将这些步骤扩展/调整到单标签分类(其中每个文本应该只有一个唯一的标签)或多标签分类(其中每个文本可能有任意数量的组合标签)。