当使用随机梯度下降和幕府NeuralNetwork时，所有的分类都是相同的

Question

我试图将一些样本分类为1或0，但是当使用随机梯度下降作为优化算法时，所有的东西都被分类为1或0。

当使用默认值(L-BFGS)时，它按预期工作，并将样本分类为1和0。我试着调整动量、学习率、批量大小、衰减和误差系数，但每次的误差都是相同的。任何帮助都将不胜感激！

num_feats = X_train.get_num_features()
layers = DynamicObjectArray()
layers.append_element(NeuralInputLayer(num_feats))
layers.append_element(NeuralLogisticLayer(16))
layers.append_element(NeuralLogisticLayer(8))
layers.append_element(NeuralSoftmaxLayer(2))

MLP = NeuralNetwork(layers)
MLP.set_gd_momentum(0.9)
MLP.set_gd_learning_rate(0.001)
MLP.set_gd_mini_batch_size(200)
MLP.set_optimization_method(0)

MLP.set_l2_coefficient(1e-4)
MLP.set_epsilon(1e-8)
MLP.set_max_num_epochs(200)

MLP.quick_connect()
MLP.initialize_neural_network()
MLP.set_labels(y_train)

MLP.train
conf_mat_MLP = acc.get_confusion_matrix(y_pred_MLP, y_test)
print(conf_mat_MLP)

打印：

[[2400    0]
[ 314    0]]

声明SGD而不是L-BFGS的行：

MLP.set_optimization_method(0)

注意:我在Scikit-learn和Weka中以相同的方式使用了完全相同的训练/测试集，这两个都不会产生这个错误，所以我认为这与我配置算法的方式有关，但我不知道是什么！

潜在有用的链接-

文档：http://www.shogun-toolbox.org/api/latest/classshogun_1_1CNeuralNetwork.html

来源：http://www.shogun-toolbox.org/api/latest/NeuralNetwork_8h_source.html

Answer 1

您应该(显著地)降低您的最小批量大小-尝试使用20左右。