如何分析非结构化文本？

Question

我使用TF-IDF来影响权重，这可以帮助我构建字典。但是我的模型不够好，因为我有非结构化的文本。

对TF-IDF类似的算法有什么建议吗？

Answer 1

当你说，你的模型不够好，这是否意味着你生成的字典不够好？提取关键术语并使用TF-IDF权重构建字典实际上是特征选择步骤。

为了为你的模型提取或选择特征，你可以遵循其他方法，如主成分分析，潜在语义分析等。机器学习中的许多其他特征选择技术也是有用的！

但我真的相信对于情感分类任务，TF-IDF应该是构建字典的一种非常好的方法。我建议你在训练模型时调整模型参数，而不是指责特征选择方法。

还有许多深度学习技术也适用于您的目标任务。