为什么LSTM不能减少损失

Question

我用lstm来训练一个模型来预测股票价格，我使用了这样的多到一个模式：

                                    O 
                                    | 
                              O O O O 
                              | | | | 
                              O O O O 

我使用了keras框架来构建网络，但网络的建立似乎并不容易。

下面是我的python的lstm源代码：

def lstm_rls(num_in,num_out=1, batch_size=128, step=1,dim=1):
    model = Sequential()
    
    model.add(LSTM(
        1024,
        input_shape=(step, num_in),
        return_sequences=True))
    model.add(Dropout(0.2))
    
    model.add(LSTM(
        512,
        return_sequences=False))
    model.add(Dropout(0.2))
    
    model.add(Dense(1))
    model.add(Activation('linear'))
    model.compile(loss='mse', optimizer='rmsprop')
    return model

我训练了大约512次，但损失总是在7周左右。

1/512时代 3968/3968 ============================== - 4s 978 4s/步进损失: 48.6274 2/512时代 3968/3968 ============================== - 1s 220 1s/步进损失: 11.1913 3/512时代 3968/3968 ============================== -1S221us/步进损失: 6.8059 4/512时代 3968/3968 ============================== - 1s 220 1s/步进损失: 6.7905 5/512时代 3968/3968 ============================== -1S221us/步进损失: 6.8151 6/512时代 3968/3968 ============================== -1S219us/步进损失: 6.7907 7/512时代 3968/3968 ============================== - 1s 220 1s/步进损失: 6.8060 8/512时代 3968/3968 ============================== -1S221us/步进损失: 6.7824

...

509/512时代 3968/3968 ============================== - 1s 222 1s/步进损失: 6.7807 510/512时代 3968/3968 ============================== -1s223 1s /步进损失: 6.8199 511/512时代 3968/3968 ============================== - 1s 222 1s/步进损失: 6.7726 512/512时代 3968/3968 ============================== - 1s 222 1s/步进损失: 6.7715

Answer 1

我有你的图像标题问题(我有四个Gpu特斯拉k20)。训练LSTM需要很长时间(大约几天)。我觉得你的问题很自然。我使用的一种方法是增加批次大小。另一方面，批处理大小的增加与性能和内存使用有关。

Answer 2

今天我看了一个关于调试技巧的讲座。它说，您可以分析代码的一种方法是:验证对象函数在小训练集上减少，而不是第一次。