计算损失时的Keras值

Question

我的问题与这一个有关

我正在努力实现tM5RY8Hv-opK4Z-H/view文章中描述的方法。最后使用的算法在这里(它在第6页)：

​

​

• D是单位向量
• xhi是一个非空数。
• D是损失函数(在我的例子中是稀疏交叉熵)。

其思想是进行对抗性训练，将数据修改到网络对小变化最敏感的方向，用修改过的数据训练网络，但使用与原始数据相同的标签。

用于训练模型的损失函数如下：

​

​

• L是标记数据上的损失度量。
• Rvadv是算法1图像中梯度内的值。
• 本文选择alpha =1

其思想是在损失中纳入标记数据集的模型的性能。

我试图在Keras中使用MNIST数据集和一个小型批处理的100个数据来实现这个方法。当我尝试做最后的梯度下降来更新权重时，经过几次迭代，我得到了出现的南值，我不知道为什么。我把笔记本贴在了可乐课上(我不知道它能坚持多久，所以我也把代码放在要点中)：

• 科拉布会议：https://colab.research.google.com/drive/1lowajNWD-xvrJDEcVklKOidVuyksFYU3?usp=sharing
• 要点：https://gist.github.com/DridriLaBastos/e82ec90bd699641124170d07e5a8ae4c

Answer 1

这是NaN在培训中的一种标准问题，我建议您阅读亚当·索尔弗作为常见案例的原因和解决方案。

基本上，我只是做了两个变化和代码运行，没有NaN的梯度：

1. 将model.compile优化器的学习速度降低到optimizer=tf.keras.optimizers.Adam(learning_rate=1e-3)，
2. 将C = [loss(label,pred) for label, pred in zip(yBatchTrain,dumbModel(dataNoised,training=False))]替换为C = loss(yBatchTrain,dumbModel(dataNoised,training=False))

如果您仍然有这样的错误，那么接下来可以尝试的几件事是：

1. 裁剪损失或梯度
2. 将所有张量从tf.float32切换到tf.float64

下次遇到这种错误时，可以使用数字学查找NaN的根本原因。