递归神经网络能同时学习稍微不同的序列吗？

Question

递归神经网络可以用来学习一个变化不大的序列吗？例如，如果我有足够的训练数据，我是否可以训练一个RNN，以便它能够产生一个连续整数或交替整数序列？

例如，如果我训练使用

1,2,3,4
2,3,4,5
3,4,5,6

等等，也用同样的网络来训练

1,3,5,7
2,4,6,8
3,5,7,9

依此类推，我能成功地预测测试集的两个序列吗？

如果我的训练数据有更多的变化，比如每三个整数的序列，或者每四个整数，等等？

Answer 1

是的，只要序列中有足够的信息，使其不模棱两可，神经网络应该能够学会正确地完成这些序列。

不过，您应该注意到一些细节：

• 神经网络和一般的ML模型在外推方面都很差。一个简单的网络一般不太可能了解序列。它永远不会像孩子那样快速地学习序列逻辑的概念。因此，如果您在它的经验之外输入测试数据(例如，项目之间的步骤3，当它们不在培训数据中时)，它将表现糟糕。
• 神经网络更倾向于缩放输入--一个常见的预处理步骤是将每个输入列的标准偏差1归一化为0。虽然网络可以在输入时接受更多的数字，但这将降低培训的有效性。使用生成的训练集(如人工数字序列)，您可以通过使用更多示例进行更长时间的培训，从而强行完成这一过程。
• 你需要更多的神经元和更多的层来支持更大的序列变化。
• 对于RNN，它将错误地预测到目前为止所处理的序列是否含糊不清。例如，如果你用相同数量的样本训练1,2,3,4和1,2,3,5，当它显示序列1,2,3并要求预测时，它将预测4.5 (用于回归)或50% chance 4或5(用于分类器)。