Keras精度没有提高

Question

我正在尝试使用Keras执行情感分类。我试图使用一个基本的神经网络(没有RNN或其他更复杂的类型)来完成这个任务。然而，当我运行脚本时，我在培训/评估过程中没有看到准确性的提高。我猜我设置的输出层不正确，但我不确定。y_train是一个列表[1,2,3,1,2,4,5] (5个不同的标签)，包含属于X_train_seq_padded中的特性的目标。设置如下：

padding_len = 24 # len of each tokenized sentence
neurons = 16 # 2/3 the length of the text that is padded
model = Sequential()
model.add(Dense(neurons, input_dim = padding_len, activation = 'relu', name = 'hidden-1'))
model.add(Dense(neurons, activation = 'relu', name = 'hidden-2'))
model.add(Dense(neurons, activation = 'relu', name = 'hidden-3'))
model.add(Dense(1, activation = 'sigmoid', name = 'output_layer'))

model.compile(optimizer = 'adam', loss = 'categorical_crossentropy', metrics=['accuracy'])

callbacks = [EarlyStopping(monitor = 'accuracy', patience = 5, mode = 'max')]
history = model.fit(X_train_seq_padded, y_train, epochs = 100, batch_size = 64, callbacks = callbacks)

Answer 1

首先，在上面的设置中，如果在您的最后一层激活函数中选择sigmoid (通常用于二进制分类或多标签分类)，则损失函数应该是binary_crossentropy。

但是，如果您的标签表示为、多类并转换为、单热编码，那么最后一层应该是Dense(num_classes, activations='softmax')，丢失函数将是categorical_crossentropy。

但是，如果您不转换多类标签，而是转换整数，那么您的最后一层和丢失函数应该是

Dense(num_classes)  # with logits 
SparseCategoricalCrossentropy(from_logits= True) 

或者，(@Frightera)

Dense(num_classes, activation='softmax') # with probabilities 
SparseCategoricalCrossentropy(from_logits=False)