Optuna -内存问题

Question

我正在尝试在Optuna优化运行之间释放内存。我使用的是python 3.8和Optuna的最新版本。运行命令: optuna.create_study()，然后调用optuna.optimize(...)在循环中，每次都有一个新的目标函数。当我监控我的内存使用情况时，每次调用命令optuna.create_study()时，内存使用都会持续增加，直到我的处理器最终杀死程序。为了更清楚地了解，第一次运行占用了超过3%的内存，最终构建到>80%。关于如何在连续调用create_study()之间从内存中删除研究，您有什么想法吗？

Answer 1

我在使用pytorch时也遇到过类似的问题。遵循optuna文档的https://optuna.readthedocs.io/en/stable/faq.html#how-do-i-avoid-running-out-of-memory-oom-when-optimizing-studies，我尝试了这个解决方案：

study.optimize(objective, n_trials=n_trials, gc_after_trial=True)

它应该类似于

import gc

study.optimize(objective, n_trials=n_trials, callbacks=[lambda study, trial: gc.collect()])

然而，它们对我来说都不起作用。我能修复它的唯一方法就是将pytorch版本升级到最新版本。我不知道您是否正在使用pytorch或其他ML包，但您可能需要更新适当的包，以防上面的代码行不起作用。