使用大量类的Softmax？

Question

使用具有大量类的softmax (例如10k)是否存在任何概念问题或数值稳定性问题？

Answer 1

Softmax本身不会出现任何问题。然而，由于网络L2范数错误，如果你真的有10k个类别要分类，那么就会有一个问题，权重上的一个小数字分数将在最新的层输出上造成巨大的差异。