如何在TensorFlow中编写新的池层？

Question

我想用TensorFlow编写RMS池层。这类似于tf.nn.avg_pool()，但它应该计算均方根平均值，而不是简单的平均值。

我最初想用numpy写这篇文章；我不关心它在GPU上运行(但以后我想写一个GPU版本)

Answer 1

试一试

tf.sqrt(tf.nn.avg_pool(tf.square(value - \
     tf.reduce_mean(value, reduction_indices=[0, 1, 2])),
     <ksize>, <strides>, <padding>))

请注意，l_2池化是常用的，而不是RMS池化。