为什么我的inception和2M参数的LSTM模型需要1G的GPU内存？
为什么我的inception和2M参数的LSTM模型需要1G的GPU内存？
提问于 2021-04-20 17:22:47
该模型主要构建在inception和LSTM之上，并由Keras在TensorFlow2.x上实现。保存的模型参数仅占用2M空间。该模型是动态训练的，批次大小为32，每批0.25M的数据量。使用use_multiprocessing=True的model.fit_generator中的工人是20岁。
然而，我观察到它需要1G的GPU内存。我找不到原因，也不知道在训练期间可以使用哪些工具来监控模型不同部分的GPU内存成本。
下面显示了模型的详细信息：
回答 1
Stack Overflow用户
发布于 2021-04-20 17:54:23
分配的GPU内存不仅用于参数，还用于激活和反向传递的梯度。
此外，您还必须考虑以下因素对内存使用量的影响：
- 批处理大小:批处理中的图像越多，意味着工作进程的activations
- Number越大:每个工作进程都需要一定的内存来操作
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/67176055
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号