如何证明Softmax数值稳定性？

Question

我在玩softmax函数，并尝试使用softmax的数值稳定性。如果我们用相同的值增加分子和分母中的指数，那么softmax的输出将保持不变(参见下面添加-Smax的图片)。我不知道如何证明这个数值的稳定性(虽然我读到它是真的)。有人能帮我拿证据吗？

Answer 1

因此，考虑到e^{a-b} = e^a \cdot e^{-b}：

\dfrac{e^{s_{y_i} - s_{max}}}{\sum e^{s_k - s_{max}}} = \dfrac{e^{s_{y_i}} e^{- s_{max}}}{\sum e^{s_k} e^{- s_{max}}} = \dfrac{e^{s_{y_i}} e^{- s_{max}}}{e^{- s_{max}} \sum e^{s_k}} = \dfrac{e^{s_{y_i}}}{\sum e^{s_k}}