培训Keras模型需要多少VRAM？

Question

你好，我最近开始了我的学士项目，在这个项目中，我需要训练一个具有如下结构的LSTM模型

输入(InputLayer) (无，无，80) 0

掩蔽(掩蔽)(无，无，80) 0

72400 (无，无，100)

输出(TimeDistributed) (无，无，39)

=================================================================

伙伴关系共计:76 339人

可培训对讲机:76 339

不可训练参数:0

inputs = tf.keras.Input(shape=(None,nb_features), name = 'inputs')
    
    x = tf.keras.layers.Masking(mask_value = data.MASK_VALUE)(inputs)
    
    x = tf.keras.layers.LSTM(hidden_units,
                             return_sequences = True,
                             dropout = dropout_rate)(x)

    dense = tf.keras.layers.Dense(nb_skills, activation = 'sigmoid')
    outputs = tf.keras.layers.TimeDistributed(dense, name = 'outputs')(x)

现在我的问题是我需要多少VRAM来训练。我有一个有11 if的VRAM的2080 if在我的站内，我不知道这是否足够。也许有一些有用的网站来计算类似的事情。我试图自己找到它，但我认为这样的东西还没有存在。

谢谢你的帮忙

Answer 1

11 be的VRAM应该足够了。我已经训练了一个400K+参数模型，它有3个LSTM层，可以很容易地安装在我的4GB VRAM中。如果正在使用GPU，您还可以使用Tensorboard分析来查看模型的内存配置文件。在这里，您可以看到您的峰值VRAM使用在GPU设备上。