实现softmax回归

Question

我试图用softmax回归建立一个神经网络。我使用以下回归公式：

​

​

假设我有1000x100的输入。换句话说，假设我有1000幅图像，每个维度都是10x10。现在，假设图像是来自A，B，C，D，E，F，G，H，I，J的字母的图像，我试图预测这一点。我的设计如下:有100个输入(每个图像)和10个输出。

我有以下几点疑问。鉴于n是x^n中的上标，关于分子，我应该执行w的点积(w =尺寸为10x100-10表示输出数和100表示输入数的权重)和单个x(单个图像)或所有图像的组合(1000x100)吗？我在python中编码，所以如果我做w和x^T的点积(10x100点100x1000)，那么我不知道如何使它成为指数。我在用numpy。我很难把我的思想围绕在这些矩阵上，它们是如何作为指数提出的。

Answer 1

如果您正在训练神经网络，那么我们应该检查一下西亚诺库。它具有多种输出阈值功能，如tanh、softmax等，并允许在GPU上进行神经网络的训练。

另外，x^n是上述公式中最后一层的输出，而不是上升到某个指数的输入。你不能用指数表示矩阵。

您应该检查更多关于softmax回归的信息。这可能会有帮助。