两个张量之差的损失函数

Question

我正在用所谓的“知识蒸馏(KD)”的方法训练一个卷积神经网络(使用Tensorflow)，简而言之，就是训练一个关于你想要完成的任务的大模型(老师)，然后训练一个小模型(学生)，它可以模拟老师的结果，但使用更少的参数，因此在测试时更快。

我面临的问题是如何以有效的方式在相同输入下建立学生模型和教师模型的结果之间的损失函数(结果是学生模型和教师模型的大小相同的张量)。

我没有分类任务，所以我没有输入的标签，但我只有来自老师的结果，我想要模拟。

现在损失函数定义如下：

loss_value = tf.nn.l2_loss(student_prediction - teacher_prediction)

“student_prediction”和“teacher_prediction”是在给定数据集中的每个输入的运行时进行计算的。

有了这个定义，我仍然不能与我的学生模型达到收敛。

谢谢。

Answer 1

我给自己找到了答案(使用MSE)。这就是：

loss = tf.reduce_mean(tf.squared_difference(tensor_1, tensor_2))