"max_batch_size“在tensorflow batching_config.txt中是什么意思？

Question

我使用的是带有--enable-batching=true的GPU上的tensorflow。

但是，我对max_batch_size中的batching_config.txt有一点困惑。

我的客户端在单个[-1, 1000]请求中发送带有张量形状的gRPC输入张量，dim0范围从(0， 200]。我设置了max_batch_size = 100并接收了一个错误：

gRPC调用返回代码:3:任务大小158大于最大批处理大小100 gRPC调用返回代码:3:任务大小162大于最大批处理大小100

看起来max_batch_size限制了单个请求的dim0，但是tensorflow将多个请求批处理为一个批处理，我认为它意味着请求号的总和。

Answer 1

以下是来自文档的直接描述。

max_batch_size:任何批次的最大大小。该参数控制吞吐量/延迟权衡，并避免批处理太大，以至于超出某些资源约束(例如，GPU内存来保存批处理的数据)。

在ML中，大多数情况下，第一个维度表示一个批处理。因此，根据我的理解，tensorflow serving将第一个维度的值作为一个批处理进行混淆，并在它大于允许值时发出错误。您可以通过发出一些您手动控制第一个维度低于100的请求来验证它。我希望这样可以消除错误。

在此之后，您可以修改输入以适当的格式发送。