推特推特分类

Question

我正试图自己做一个小项目，用twitter数据找出职位空缺。我使用水槽保存数据，并将其转换为.csv进行分析。我的问题是，我不知道如何分类推特，不管是职位空缺，还是仅仅是一些关于机器学习的新闻。我在网上读到了关于神经网络和word2vec的文章，但我不确定它是否能解决我的问题。有谁能建议一些基于tweet文本和主题的方法来做这件事吗?我没有训练和测试数据，我只是用flume.Also存储了tweet，我能用它做什么样的分析。

Answer 1

你应该用监督学习技术来阅读关于文本分类的文章。您可以选择一个神经网络，如CNN实现，并将其用于您的数据。但是你必须首先准备好你的数据，把它清理干净，并根据你想要的类别给它贴上标签。例如,

• 您应该收集推特数据，并将每条推文或一组单词标记为与其原始类别相关的职务或新闻。
• 然后，你应该使用准备好的数据和标签来训练选定的网络。
• 阅读关于k折叠交叉验证和隔离数据的方法，这样就可以进行系统的迭代培训和验证，并且可以对网络进行调整。
• 最后，一旦培训完成，您就可以使用模型对未见的测试数据进行测试。

这些是文本分类所涉及的常见步骤。它应该根据您的需要定制。你可以谷歌亵渎过滤器，它主要是用NLP类型分类器开发的。那会对你有很大帮助。