Google运行并发限制+自动标度说明

Question

Google运行允许每个容器指定一个请求并发限制。输入字段的子文本声明“当到达此并发号时，启动一个新的容器实例”两个澄清问题：

1. 是否有任何方法可以设置Cloud来预测并发限制，并在发生这种情况之前生成一个新的容器，以确保超过Container-1的并发限制的请求可以由容器2无缝地处理，而不会影响请求的冷启动时间？
2. 假设我们将最大实例设置为10，并发设置为10，目前正在处理100个请求(也就是说，我们已经最大限度地提高了我们的容量，不能再自动扩展)。第101次请求发生了什么？它会被排队一段时间，还是会立即返回一个5XX？

Answer 1

是否有任何方法可以设置Cloud来预测并发限制，并在发生这种情况之前生成一个新的容器，以确保超过Container-1的并发限制的请求可以由容器2无缝地处理，而不会影响请求的冷启动时间？

不是的。云运行并不试图预测未来的流量模式。

假设我们将最大实例设置为10，并发设置为10，目前正在处理100个请求(也就是说，我们已经最大限度地提高了我们的容量，不能再自动扩展)。第101次请求发生了什么？它会被排队一段时间，还是会立即返回一个5XX？

将返回HTTP错误429 Too Many Requests。

编辑- Google文档在请求队列中

在正常情况下，您的修订将通过创建新实例来处理传入的流量负载来扩展。但是，当您设置最大实例限制时，在某些情况下，将没有足够的实例来满足该流量负载。在这种情况下，传入请求排队最多60秒。在这60秒窗口中，如果一个实例完成了处理请求，它就可以处理排队的请求。如果在60秒窗口中没有可用的实例，则在云运行(完全托管)上运行429个错误代码时，请求将失败。

关于最大容器实例