tcmalloc:大型分配...死于谷歌Colab

Question

我试着在谷歌Colab中设置MuseGAN。我已经下载了数据，现在正在通过运行脚本./scripts/process_data.sh，使用SharedArray包将数据存储到共享内存中来处理数据。我遇到了这个错误

> Loading data from '/content/musegan/scripts/../data/train_x_lpd_5_phr.npz'.
Saving data to shared memory.
tcmalloc: large alloc 6245990400 bytes == 0x26b6000 @  0x7f97d2bea1e7 0x7f97d08e0a41 0x7f97d0943bb3 0x7f97d08e4937 0x5553b5 0x5a730c 0x503073 0x507641 0x504c28 0x502540 0x502f3d 0x507641 0x501945 0x591461 0x59ebbe 0x545068 0x506b39 0x502209 0x502f3d 0x506859 0x504c28 0x506393 0x634d52 0x634e0a 0x6385c8 0x63915a 0x4a6f10 0x7f97d27e7b97 0x5afa0a
./scripts/process_data.sh: line 5:   360 Killed                  python "$DIR/../src/process_data.py" "$DIR/../data/train_x_lpd_5_phr.npz"

有人能解释一下吗？我不明白为什么我会遇到这种情况。我一开始在没有gpu的机器上运行时遇到了这个问题(比如只有cpu )，然后我听说了Google Colab。

Answer 1

这是一个关于Google如何处理不断增加的内存使用的问题，并认为OOM将会发生，尽管它不会发生。

请参阅https://github.com/huggingface/transformers/issues/4668

Answer 2

我不知道从python文件运行的解决方案，但您可以直接将将数据加载到ram的文件(例如，train.py)的内容复制到Google colab的单元中并运行它，如果您有足够的ram.Though，它不会给出错误我不知道这种行为的原因

Answer 3

我在colab遇到了同样的问题，只是刷新了一下，再也看不到它了。