GCP AI模型TF服务中的几个问题

Question

我已经在GCP AI模型上部署了MNIST数据集，TF在扩展中服务并面临问题。我想知道是否有其他人曾面对类似的问题，以及他们会以何种方式解决这个问题。

行为

1. 如果我每秒创建3个请求，模型将在单个核上正确地给出预测结果。
2. 如果将请求号增加到每秒1000个，我就会得到"code"：403，"message"："Request有足够的身份验证范围“，或者javax.net.ssl.SSLHandshakeException: Remote主机终止了握手。

在另一个模型版本上，我非常肯定它是与java客户端一起工作的，它也是从GCP测试和使用UI中运行的，但是自从我尝试以1000/秒的速度进行扩展之后，它就停止了工作。这是在n1-highmem-2服务器上。它的给予误差

 "{
  "error": {
    "code": 400,
    "message": "Request contains an invalid argument.",
    "errors": [
      {
        "message": "Request contains an invalid argument.",
        "domain": "global",
        "reason": "badRequest"
      }
    ],
    "status": "INVALID_ARGUMENT"
  }"

有几个问题是，对于模型和在vm上部署时，tf服务gcp ai是否有什么优势？谢谢你的帮助

Answer 1

您可以发送多少每分钟在线预测请求是有限制的。我的假设是，当你试图启动60000，10倍的时候，你已经超过了6000次请求/分钟的限制。尽管错误消息并不是不言自明的，但它们可能来自那里。

您可以通过在GCP控制台中检查配额页面并在AI平台培训和预测API服务下查找“每分钟在线预测请求”来确认这一点。幸运的是，如果需要更大的扩展能力，就有可能使用增加其中一些限制。

关于通过AI平台为您的模型提供服务的好处，主要的优点是您不必关心VM周围的体系结构，因为当更多的请求到达时，它会自动扩展(考虑到您已经为用例设置了所需的限制)。