LSTM评价指标MAE解释

Question

我很难理解LSTM模型的性能，因为我将我的模型总结如下：

X_train.shape
(120, 7, 11)
y_train.shape
(120,)
X_test.shape
(16, 7, 11)
y_test.shape
 (16,)

model = keras.Sequential()
model.add(keras.layers.LSTM(100, input_shape=(X_train.shape[1], X_train.shape[2]), return_sequences = True))
model.add(keras.layers.Dropout(rate = 0.2))
model.add(keras.layers.LSTM(20))
model.add(keras.layers.Dropout(rate = 0.2))          
model.add(keras.layers.Dense(1))
model.compile(loss='mean_squared_error', optimizer=keras.optimizers.Adam(0.001), metrics = ['mae'])

history = model.fit(
X_train, y_train, 
epochs=60,
batch_size=5,
verbose= 0,
validation_split = 0.1,
shuffle=False
)

基于下面的图，MSE和MAE在训练过程中都减少了，它们的相应值接近于零。

然而，正如我意识到的那样，预测还不够精确：

y_pred = model.predict(X_test)
model.evaluate(X_test,y_test)
[0.04673878103494644, 0.15574690699577332]

所以我的问题是，我的模型到底表现如何？我的意思是，如何解释它的性能，因为MSE和MAE似乎都很低，但预测值不太令人信服。

Answer 1

你的损失接近0，但是，你的y在0-1的范围内的真实分布，所以0.04损失可能是很高的损失。只需得到随机模型，并检查损失。你会知道你减少了多少损失。我建议使用r^2度量来评价。