如何计算RNN/LSTM中的损耗？

Question

我正在通过练习时间序列训练数据来学习LSTM的工作原理(输入是一个特性列表，输出是一个标量)。在计算RNN/LSTM的损失时，我无法理解一个问题：

损失是如何计算的？它是在每次我给出nn新输入时计算的，还是通过所有给定的输入进行累加，然后被备份？

Answer 1

答案不取决于神经网络模型。这取决于您对优化方法的选择。

如果使用批处理梯度下降，则整个训练集的损失平均。这对于神经网络来说往往是不切实际的，因为训练集太大，无法适应RAM，而且每一个优化步骤都要花费大量的时间。

在随机梯度下降中，计算每个新输入的损失。这种方法的问题是它很有噪音。

在小批量梯度下降，损失是平均的每一个新的小批-一个子样本的输入，一些小的固定大小。该方法的一些变化在实际应用中得到了广泛的应用。

所以，你的问题的答案取决于你选择的小批量大小。

​

​

(图片来源于这里)

Answer 2

@seed答案是正确的。然而，在LSTM或任何RNN体系结构中，所有时间步骤中的每个实例的损失都是加在一起的。换句话说，您将拥有(L0@t0，L1@t1，.对于输入批次中的每个样本，in @tT)。对批处理中的每个实例分别添加这些损失。最后，平均每个输入实例的损失，以获得当前批的平均损失。

欲了解更多信息，请访问：https://stanford.edu/~shervine/teaching/cs-230/cheatsheet-recurrent-neural-networks