Colab用小数据集和小batch_size杀死'^C‘-内存不足？

Question

我试图在一个小数据集上运行一个掩码run架构(目前与本教程相同)，遵循这个教程。

我想我的记忆快用完了。这是给定的输出：

[...]
Future major versions of TensorFlow will allow gradients to flow
into the labels input on backprop by default.

See `tf.nn.softmax_cross_entropy_with_logits_v2`.

tcmalloc: large alloc 644245094400 bytes == 0x1a936c000 @  0x7efe929e7b6b 0x7efe92a07379 
0x7efe76f65287 0x7efe6848dc0f 0x7efe6851644b 0x7efe68388cc6 0x7efe68389b8c 0x7efe68389e13 
0x7efe7182f2b7 0x7efe71853a35 0x7efe6860b53f 0x7efe686005c5 0x7efe686be551 0x7efe686bb263 
0x7efe686aa3a5 0x7efe923c96db 0x7efe92702a3f
^C

我的问题是12，5GB内存，即使我有一个相对较小的数据集和batch_size = 1，这是对的吗？这是我的Colab-笔记本。

除了batch_size、shuffle_buffer_size之外，减少内存负载的选项有哪些？

Answer 1

我认为您的错误来自于您的掩码大小= (1024,1024)。该网络将预测每幅图像将有几十年的掩码，并在此之后选择其中最好的。在这种情况下，如果您的图像已经有大小(1024,1024)，然后几个相同大小的掩码，那么您的GPU就不可能有足够的内存来保存它们。

在标准配置中，掩码是大小的：

mask_height: 33
mask_width: 33

所以我建议你改变这一点。