并发AzureML REST请求失败，服务请求过多(过载)

Question

我已经将我的模型部署到具有6个节点的生产Azure Kubernetes服务。

顺序推理请求从score.py获得预期的响应。

当I多于一个并发异步推理请求时，除了第一个返回503 Too many requests for service {my service name} (overloaded)之外的所有请求。

我基于示例@ https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/deployment/production-deploy-to-aks/production-deploy-to-aks.ipynb构建了我的服务并部署了我的模型。

我正在发送4mb大小的请求。当我发送微不足道的小请求时，它似乎起作用了。

Answer 1

请在此处查看指南：https://docs.microsoft.com/en-us/azure/machine-learning/how-to-troubleshoot-deployment#http-status-code-503

如果您试图同时接收多个请求，我建议您也考虑使用Triton的高性能服务：https://docs.microsoft.com/en-us/azure/machine-learning/how-to-deploy-with-triton?tabs=python