tf.nn.relu和tf.contrib.layers.relu？

Question

我在这里看到这个"tf.nn.relu“文档：docs/python/tf/nn/relu

但是，我也在"model_fn"：https://www.tensorflow.org/extend/estimators中看到了这个页面中的model_fn用法。

后者似乎不是以类似API的方式来描述的，而只是在使用中。

为什么会这样呢？这些文件过时了吗？为什么有两个-一个旧的，不再支持/将被移除？

Answer 1

它们不是一回事。

后者不是一个激活函数，而是一个fully_connected ，它的激活函数预设为nn.relu。

relu = functools.partial(fully_connected, activation_fn=nn.relu)
# ^                                                     |<   >|
# |_ tf.contrib.layers.relu                     tf.nn.relu_|

如果您阅读了contrib.layers的文档，您会发现：

设置默认激活函数的fully_connected别名是可用的：relu、relu6和linear。

总之，tf.contrib.layers.relu是具有relu激活的fully_connected层的别名，而tf.nn.relu是REctified线性单元激活函数本身。