分布式长时间任务的公共订阅者的处理

Question

我正在评估在诸如视频转码等长期运行的任务中使用pubsub的情况，在这种情况下，一个特定的转码可能需要2-10分钟。对于这样的任务分配，pubsub是一个很好的方法吗？例如，假设我有五个服务器：

- publisher1
- publisher2
- publisher3
- publisher4
- publisher5

还有一个叫做“视频”的话题。是否有可能在这五台服务器上平均地传播消息？那么当服务器被添加或删除时呢？什么是这样做的好方法，或者说公共部门不是这样做的合适工具？

Answer 1

这听起来确实是公共部门的合理用例。具体来说，如果使用拉式订阅服务器，则可以将流控制设置配置为最多有一条未完成的消息给服务器，并将最大ack扩展期(在java中)配置为处理时间的合理上限。这里描述了这个api，http://googleapis.github.io/google-cloud-java/google-cloud-clients/apidocs/index.html?com/google/cloud/pubsub/v1/package-summary.html。

如果您对所有作业使用相同的订阅服务器id，默认情况下，这将有效地在服务器上加载平衡。如果添加了一个服务器，并且存在待办事项，它将收到一个新条目。如果服务器被删除，它将不再被发送消息。如果在处理或崩溃时将其删除，则它正在处理的消息将被另一台服务器重新处理。

然而，一个值得关注的问题是，pubsub的每条消息的限制为10 is。您可以考虑将数据本身放到google云存储桶中。当上传完成时，云存储可以将文件位置发布到公共子主题。https://cloud.google.com/storage/docs/pubsub-notifications