神经网络与异或分类

Question

我在某个地方读到，均方误差损失有利于回归，交叉熵损失用于分类。

当我试图将异或训练为具有交叉熵损失的分类问题时，网络无法收敛。

我的背景：

• 网络是2-2-2
• 第一个输出是信号0，第二个输出是1(因此有两类输入)。
• 用交叉熵代替均方误差计算网络输出层的误差。
• 作为激活函数，我使用logsig。

显然，我遗漏了什么，我的错误在哪里？

Answer 1

下面是这个网络在Mathematica中的一个实现：

net = NetChain[{2, Tanh, 2, Tanh, 1, LogisticSigmoid}, "Input" -> {2}];

eps = 0.01;
data = {{0, 0} -> {eps}, {1, 0} -> {1 - eps}, {0, 1} -> {1 - eps}, {1,
      1} -> {eps}};

trained = 
 NetTrain[net, data, CrossEntropyLossLayer["Binary"], 
  MaxTrainingRounds -> Quantity[5, "Minutes"], TargetDevice -> "GPU"]

在几千发子弹后会聚在一起。所以，我不认为你错过了什么-你的图书馆里可能有个bug

​

​