为什么人们说ReLU对MaxPool订单不会改变结果？

Question

在谷歌上搜索“ReLU命令”或类似命令时，我发现很多人说这个命令不会影响结果，即：

MaxPool(Relu(x)) = Relu(MaxPool(x))

以下是少数人这样说的例子：

https://stackoverflow.com/questions/35543428/activation-function-after-pooling-layer-or-convolutional-layer

https://github.com/tensorflow/tensorflow/issues/3180

https://www.quora.com/In-most-papers-I-read-the-CNN-order-is-convolution-relu-max-pooling-So-can-I-change-the-order-to-become-convolution-max-pooling-relu

https://towardsdatascience.com/convolution-neural-networks-a-beginners-guide-implementing-a-mnist-hand-written-digit-8aa60330d022

要明确的是，我完全意识到可能有一个微小的速度差异，但我在这里问的是计算结果，而不是速度。

例如，请考虑以下几点：

当很容易想出一个快速的例子时，怎么会普遍认为ReLU/MaxPool顺序不影响计算结果呢？

就其价值而言，ChatGPT似乎违背了普遍的共识：

Answer 1

1. ChatGPT经常说废话。不要依赖它。
2. 你的例子是错误的。在第二次计算中，您计算的是绝对值，而不是ReLU: ReLU(-5) = 0和ReLU(-3) =0。结果为2，与第一次计算相同。

\max(ReLU(x_1,...,x_n)) = ReLU(\max(x_1,...,x_n))