提亚诺:如何实现期望输出(1d)与标签成本函数之间的距离

Question

我想训练一个神经网络来表示从R^n到R的函数。神经元网络只有一层，输入神经元是函数参数，输出是函数值。例如，函数可以是“逻辑和”：两个输入值，一个输出。

为了训练这样的网络，我需要定义一个成本函数，然后可以用Theano对梯度的支持导出它。问题是:通常你会使用神经元网络进行分类。训练样本是(输入，y)，其中y是输出神经元的期望输出=指数，该输出神经元应该具有最大似然。

在这种情况下，这是不可能的，我只有一个输出神经元，需要将它与标签=>进行比较，标签不用于索引。伪码：

if y==0:
   cost= - output
else:
   cost= - (1-output)

使用这种方法，每一个样本都必须重新计算成本。因为计算成本的公式取决于y的值。

我认为有必要在西亚诺公式中实现选择。类似于这个伪代码：

block1= - output
block2= - (1 - output)
blockMatrix= [block1 : block2]
return blockMatrix[y]

在theano教程中，索引是与区分结合使用的，所以这应该是可行的。

的实际问题：在theano是如何工作的？

代码中符号的类型:输出是矩阵，y是向量。这些示例是这样创建的，行就是一个示例。

data_x = numpy.matrix([[0, 0],
                       [1, 0],
                       [0, 1],
                       [1, 1]])

data_y = numpy.array([0,
                      0,
                      0,
                      1])

pastebin：http://pastebin.com/PByUyvMQ上的完整代码大部分与本教程：http://deeplearning.net/tutorial/logreg.html完全相同

Answer 1

我不太清楚阻塞到底意味着什么，但是对于简单地连接两个张量变量，有theano.tensor.concatenate()和theano.tensor.stack()。

此外，还有另一种解决问题的方法，可以避免条件反射和阻塞：

cost = -(1-y)*output -y*(1-output)