PyTorch推断库伯奈特的高CPU利用率

Question

问题

我们正在尝试创建一个在AWS上加载PyTorch ResNet-101模型的推理API。显然，由于CPU和内存使用率高，它总是会杀死OOM。我们的日志显示，我们需要大约9亿CPU资源的限制。注意，我们只使用one 1.8Mb映像测试它。我们的DevOps团队并不喜欢它。

我们已经尝试过的

目前我们正在使用标准的PyTorch负载模型模块。我们还清理模型状态dict以清理内存使用。

有什么方法可以减少PyTorch模型的使用吗？

Answer 1

你试过限制吊舱可用的CPU吗？

  - name: pytorch-ml-model
    image: pytorch-cpu-hog-model-haha
    resources:
      limits:
        memory: "128Mi"
        cpu: "1000m" # Replace this with CPU amount your devops guys will be happy about

如果您的错误是OOM，您可能想考虑为每个pod添加更多的内存吗？作为局外人，我们不知道执行模型需要多少内存，我建议使用像PyTorch剖面仪这样的调试工具来理解推断用例需要多少内存。

您还可以考虑使用内存优化工作节点，并通过标签应用部署节点亲和力，以确保在EKS集群中的内存优化节点中分配推断荚。