从kafka消费者向服务发出100万个单独的http请求是个好主意吗？

Question

比方说，我有一个kakfa消费者，它每秒可以消耗大量消息。这些消息中的每一个都需要通过http请求发送到另一个服务。对每条消息进行单独的http请求是个好主意吗？大约一百万条消息=一百万个http请求

Answer 1

这在很大程度上取决于您的用例。显然，批量处理它们会更有效率。然而，我认为最重要的是要记住什么时候提交这些消息。无论何时决定进行http调用，我都建议在http调用成功之前不要提交消息。当然，这意味着您的http调用是幂等的，因为如果您的应用程序在http请求期间崩溃，您将再次使用该消息。