覆盖tf.floor渐变

Question

我试图在我的输出层使用tf.floor，但是即使我试图用身份梯度覆盖它，仍然得到“无梯度”的错误。

import tensorflow as tf
from tensorflow import keras

def transfer(x):
    with tf.compat.v1.get_default_graph() as g:
        with g.gradient_override_map({'Floor': 'Identity'})
            return tf.floor(x * 90) / 90

input = keras.layers.Input((10, ))
output = keras.layers.Lambda(transfer)(keras.layers.Dense(1, activation='sigmoid')(input))

以下是完整的错误消息：

/tensorflow-2.1.0/python3.6/tensorflow_core/python/keras/optimizer_v2/optimizer_v2.py in _filter_grads(grads_and_vars)
   1037   if not filtered:
   1038     raise ValueError("No gradients provided for any variable: %s." %
-> 1039                      ([v.name for _, v in grads_and_vars],))
   1040   if vars_with_empty_grads:
   1041     logging.warning(

ValueError: No gradients provided for any variable:

Answer 1

你用的是TF 2？我非常怀疑这个图表的东西能做什么，因为TF2.0不再真正做图表了。覆盖渐变的标准方法是通过tf.custom_gradient。您可以这样使用它：

@tf.custom_gradient
def custom_floor(x):
    def grad_fn(dy):
        return dy

    return tf.floor(x), grad_fn

然后，在模型中使用custom_floor函数而不是tf.floor。这将在正向传递中返回tf.floor (第一个返回元素)，但是使用grad_fn (第二个返回元素)来计算梯度--在本例中，它将原封不动地传递梯度。当然，您也可以将@custom_gradient直接应用于transfer函数。