用全批量训练将字母图像训练成神经网络

Question

根据本教程(Perceptron)，我想建立一个简单的(在最简单的水平上是为了学习目的)的神经网络(Perceptron)，它可以训练识别"A“字母。在本教程中，在建议的示例中，他们构建了一个可以学习“和”逻辑运算符的网络。在这种情况下，我们有一些输入(4*3矩阵)和一个输出(4*1矩阵)：

​

​

每次用输入矩阵减去输出矩阵，计算误差和更新率等。

现在我想给一个图像作为输入，在这种情况下，我的输出是什么？我如何定义这个图像是一个"A“字母？一种解决方案是将"1“定义为"A”字母，将"0“定义为”非A“，但如果我的输出是标量，如何用隐藏层减去它并计算误差和更新权重？本教程使用“全批量”训练，并将整个输入矩阵与权重矩阵相乘。我想用这个方法。最终的目的是设计一个神经网络，以最简单的形式识别"A“字母。我不知道该怎么做。

Answer 1

第一步:很好，通过从头编程来理解神经网络，而不是从复杂的库开始。让我把事情弄清楚:你在这里的理解：

每次用输入矩阵减去输出矩阵，计算误差和更新率等。

并不是真的正确。在您的示例中，输入矩阵X是您表示给神经网络输入的内容。输出Y是您希望网络为X所做的:第一个元素Y[0]是X的第一行所需的输出，依此类推。我们常称其为“目标载体”。为了计算损失函数(即误差)，我们将网络输出(链接示例代码中的L2)与目标向量Y进行比较。换句话说，我们比较我们希望网络做什么(Y)和它真正做的事情(L2)。然后，我们向接近Y的方向迈出了一步。

现在，如果您想要使用一个图像作为输入，您应该将图像中的每个像素看作一个输入变量。以前，我们有两个输入变量:A和B，我们想对这两个变量计算术语X=A∧B。

示例

如果我们采取8乘8像素图像，我们有8*8=64输入变量.因此，我们的输入矩阵X应该是一个有65列的矩阵(图像+1输入的64像素作为偏置项，它总是=1)，并且每个训练示例都有一行。如果你有26个字母中每个字母的一个图像，矩阵将包含26行。

输出(目标)向量Y应该具有与X相同的长度，即在前面的示例中为26。如果对应的输入行是A，则Y中的每个元素为1，如果是另一个字母，则为0。在我们的示例中，Y[0]为1，Y[1:]为0。

现在，您可以使用与前面相同的代码:输出L2将是包含网络预测的向量，然后您可以将其与以前的Y进行比较。

tl；博士关键的想法是忘记图像是2D的，并将每个输入图像存储为一个向量。