在Render.com上应用程序预加载火炬模型时的工作超时

Question

在我的app.py中，我有一个函数，它使用预先训练好的Pytorch模型来生成关键字

@app.route('/get_keywords')
def get_keywords():
    generated_keywords = ml_controller.generate_keywords()
    return jsonify(keywords=generated_keywords)

在ml_controller.py里我有

def generate_keywords():
    model = load_keywords_model()
    output = model.generate()
    return output 

这很好用。对/get_keywords的调用正确地返回生成的关键字。但是，这个解决方案非常慢，因为每次调用都会加载模型。因此，我尝试通过将模型移出函数，只加载它一次。

model = load_keywords_model()

def generate_keywords():
    output = model.generate()
    return output 

，但是现在当我将我的应用程序部署到Render.com.时，所有对/get_keywords超时的调用都在起作用。奇怪的是，问题并不是模型没有加载。当我写

model = load_keywords_model()
testOutput = model.generate()
print(testOutput)

def generate_keywords():
    output = model.generate()
    return output 

一堆关键字是生成的时候，我启动火鸟。另外，所有其他不调用ml_controller.generate_keywords()的端点都可以正常工作。

出于测试目的，我还向ml_controller.py添加了一个虚拟函数，我可以毫无问题地调用该函数。

def dummy_string():
    return "dummy string"

基于我发现的类似问题的答案，我开始使用Gunicorn

gunicorn app:app --timeout 740 --preload --log-level debug

在app.py中我用

if __name__ == '__main__':
    app.run(debug=False, threaded=False)

然而，这个问题仍然存在。

Answer 1

问题是，当Gunicorn使用--preload标志启动时，Py火炬模型会出现一些bug。

Render.com秘密地添加了这个标志，并且没有在设置中显示它，这就是为什么我花了几天时间才弄明白这一点的原因。您可以通过调用控制台中的Render.com来查看printenv添加的所有设置。

若要解决此问题，请添加新的环境变量。

  GUNICORN_CMD_ARGS: '--access-logfile - --bind=0.0.0.0:10000'

它覆盖Render.com的标准设置。

  GUNICORN_CMD_ARGS: '--preload --access-logfile - --bind=0.0.0.0:10000'