CNN与RNN: 20_newsgroup数据的分类

Question

我是ML领域的初学者。我正在学习角角，以获得亲身体验。我选择了20_新闻组数据的分类作为我的任务，我使用glove.6B.50d.txt进行嵌入。

我选择为这个任务训练一个RNN，因为它有更好地学习时间序列数据的能力。训练与不同组合的LSTM层和输出尺寸，然后收敛到一个组合。然后，我尝试了同样的任务的CNN模型。

我发现CNN模型可以学习得更快，在15个周期结束时的准确率约为65%，因为RNN模型需要50次才能获得相同的验证精度，即使尝试了几次学习率。但在最后，这两种模型在经过更长时间的训练后，其验证准确率约为65%-70%。我停止了在那里的探索。

我的问题是我假设/预期RNN会表现得更好。根据我对RNN的理解，它建立了时间序列数据的记忆。我在这里错过了什么？

Answer 1

卷积神经网络(CNN)学习与目标值相关的数据中的空间关系。在文本数据中，空间关系是指词之间的距离关系。一个具体的例子是“动态变化”与rec.sport.hockey类别相关联。

递归神经网络(RNN)在序列序列上学习数据的单个潜在表示。这种表示在此问题的评价指标性能方面没有优势。

换句话说，学习几个重要的词来对文本进行分类是更快的，并且与学习表示整个文本的性能几乎相同。