ReLU、Swish和Mish的输出景观

Question

我在最初的米什论文(https://arxiv.org/abs/1908.08681)中找到了以下数字。

据我所知，这个数字描述的是如何改变损失，如果变化是平稳的或不顺利的。但是论文没有描述它是如何产生的，图形上的颜色意味着什么(没有色条)，以及沿着x和y轴绘制的是什么。有人能在这方面提供帮助吗？

Answer 1

从你引用的那篇文章中，我发现这个数字与你的相似。

在这篇文章的同一页上，他们说：

平滑的轮廓也在更好的梯度流中起作用，如图3所示，五层随机初始化神经网络与ReLUand Mish的输出景观是可视化的。通过将坐标传递给一个五层随机初始化的神经网络，输出相应的标量大小来生成景观。与Mish输出景观的平滑轮廓相比，ReLU的输出景观具有很大的跃迁。

您的图形(以及上面的一个)似乎没有显示丢失的景观(这是本文中的图4)，而是使用不同的激活函数的全局神经网络的景观。我猜他们用来产生这些数字的神经网络有两个输入(图的坐标)，三个隐藏层和一个标量输出。图中的颜色对应于标量输出值。

提交人提出这些数字是因为：

平滑的输出景观暗示着平滑的损失景观...

这是我对这篇文章的理解，希望能有所帮助。