如何构造非结构化数据

Question

我正在分析推文，并以一种非结构化的格式收集它们。什么是最好的方式来构造这些数据，以便我可以开始数据挖掘过程？有人建议使用python包，比如spacy，但不确定如何使用它。

Answer 1

在自然语言处理中，选择数据的表示和基于预期任务的系统设计是至关重要的，没有通用的方法来表示适合每个应用程序的文本数据。这不是一个简单的技术问题，它是系统设计的重要组成部分。

构造文本数据的最简单方法是将句子或文档表示为一袋袋话 (BoW)，即包含句子或文档中所有标记的集合。这种集合可以在完整的词汇表(所有文档中的所有单词)上用一个热编码(OHT)来表示，以获得结构化数据(特性)。许多预处理变体可以被应用:删除停止词，用它们的引理替换单词，过滤出罕见的单词等等(不要忽略它们，这些预处理选项会对性能产生巨大的影响)。

尽管BoW模型很简单，但它们通常能够很好地保存文档的语义信息。然而，他们不能处理任何复杂的语言结构:否定，多词表达，等等。