如何改进数据少的深度学习模式

Question

我已经训练了一个回归的深度学习模型。该模型精度较低。我对深造很陌生。我该如何改进呢？目标变量Y是通过将特征X1和X2相乘得到的。

DataSet(5800行)

X1       |      X2      | Y
1.000000    70.000000   70.000000
0.714286    29.045455   20.746753
0.000000    35.000000   0.000000
0.538462    22.071429   11.884615
0.000000    54.000000   0.000000

模型

#Define a larger model
def larger_model():
  #Create Model
  model = Sequential()
  model.add(Dense(2, input_dim=2, kernel_initializer='normal', activation='relu'))
  model.add(Dense(6, kernel_initializer='normal', activation='relu'))
  model.add(Dense(1, kernel_initializer='normal'))
  
  #Compile Model
  model.compile(loss='mean_squared_error', optimizer='adam')
  return model

#Evaluate Model

estimator = KerasRegressor(build_fn=larger_model, epochs=10, batch_size=5)
kfold = KFold(n_splits=10)
results = cross_val_score(estimator, X, y, cv=kfold)
print("Results: %.5f (%.5f) MSE" % (results.mean(), results.std()))

输出

Results: -83.81452 (170.38108) MSE

Answer 1

首先，看看您的数据规模。深度学习模型对数据缩放非常敏感，因此最好是对数据进行预处理，使其保持在可访问的范围内：

• 缩放-2,2 -应用缩放，使所有功能和标签都在此范围内
• 平均值0:试着将数据集中在0。

第二，深度学习模型是正则化的过度拟合模型。您可以在这里尝试的一件事是逐步增加您的模型的大小(即更多的隐藏层或隐藏单位)，并添加正则化。

你的选择是：

• 重量衰减-角致密层可以增加重量衰减。看看文档
• 层正则化(批处理规范、退出、层规范化)--这些都是更先进的，逐个案例的工作--看看这个纸作为一个开始。