测试ANN反向传播实现

Question

当人工神经网络与反向传播相结合时，算法比较复杂，没有稳定的测试参考点。

什么是调试实现算法正确性的最佳方法？

我说的不是训练/验证/测试阶段，我想要某种量规，或者，一步一步的训练结果/权重值来检查网络的内部工作情况，以获取给定的配置和培训数据。

Answer 1

我认为可能有帮助的是：

1. 使用具有自动差异框架(如Theano或Tensor Flow)的模块，定义与您的配置相同的网络，并使用内部差异框架检查结果。
2. 使用数值梯度计算。
3. 自己计算适当的梯度并比较结果。