问降低GCP DataFlow？
EN

Stack Overflow用户

提问于 2020-04-24 06:00:40

回答 1查看 206关注 0票数 0

使用GCP提供的标准存储/文本文件到PubSub工作节点模板，但是尽管我设置了# DataFlow eq1，但对于下游组件，处理消息的吞吐量是“高”的。

在发布/订阅中的消息事件上运行的CloudFunction命中GCP配额，而使用CloudRun时，我在一开始就得到了一堆500、429和503个错误(由于步长突发率)。

有没有办法控制DataFlow的处理速度？需要更软/更慢的启动，以便下游组件有时间扩大规模。

有没有人？

发布于 2020-04-24 20:46:51

您可以使用Stateful ParDo来实现这一点，在其中，您可以批量缓冲事件，并一次性使用所有键进行API调用。代码片段here很好地解释了这一点

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/61397739

复制

相似问题

问降低GCP DataFlow？EN