消息驱动体系结构和水平缩放

Question

在微服务事件驱动体系结构中处理宠物项目期间，我遇到了向客户端交付响应的问题。

每个微服务(API、网关等)都有许多副本，并有自己的负载均衡器(Kubernetes服务)。

用例：

1. 20个客户端(JS应用程序)发送“注册帐户请求”
2. 10个客户端连接到"API网关1“和10 - "API网关2”。网关保持连接(长轮询)
3. 每个API网关通过Apache (主题为"registerAccount“)将请求处理委托给数据处理器。
4. 数据处理器订阅"registerAccount“主题。onMessage()注册帐户并将新帐户的ID推回卡夫卡，主题为"newAccountId“
5. API网关接收newAccountId (哪一个？所有的人？)
6. API网关将newAccountId发送到适当的客户端(如何确定哪个客户端必须接收此newAccountId?)

我发现的唯一解决方案是将客户端id添加到每条消息中，然后过滤消息。

有人经历过这样的问题吗？

Answer 1

在Kafka中，有效地加载“平衡消费者”的方法是将每个客户端节点/进程注册到单个的“消费者组”中。

使用者用使用者组名称给自己贴上标签，而发布到主题的每条记录都被传递给每个订阅的使用者组中的一个使用者实例。使用者实例可以在单独的进程中，也可以在不同的机器上。如果所有使用者实例都具有相同的使用者组，那么记录将有效地在使用者实例上被负载平衡。如果所有的使用者实例都有不同的使用者组，那么每个记录将被广播到所有使用者进程。

来源

这是相当基本的客户端配置。在Kafka中没有“消息队列”的概念，但是您可以以这种方式可靠地处理基于事务的消息驱动事件。