apache-kafka中的多租户支持

Question

我有一个场景，多个客户端希望生成和使用消息。是否有办法在apache中实现多租户，以便一个客户能够通过另一个客户的大量流入而保持完整。基本上，我想要一种将客户端标记到代理的方法，而该客户端上的所有主题/分区都属于标记的代理。在这里，一个客户端在内部生成和使用消息。他们这样做是为了实现分布式处理。父消息被分解为子消息，并在任何机器中产生/处理这些子消息。

Answer 1

客户从其他客户端失败的原因之一是由于其他客户对代理的I/O饱和。

防止这种情况发生的方法是执行配额。

我不太明白您所说的“标记”是什么意思，因为您无法控制集群中的分区位置，因此不可能从特定客户端向某些代理发送数据，除非您首先创建一个主题，然后手动重新分配分区和副本。

Answer 2

所谓客户，你指的是客户租户吗？尽管如此，如果关注的是客户端之间有明确的负载分离(以避免拒绝攻击或饥饿)，一种可能性是为不同的客户端设置不同的主题。这将在一定程度上分离负载(基于分区)，但不会完全分离，因为仍然共享各种资源。而且，它也有自己的优点。缺点是

• 分区不是共享的。如果一个客户端没有足够的负载，并且当分区被读/写占用不多时，分区就不会在另一个主题中为另一个客户端使用。
• 另一个陷阱是，主题的数量将根据客户端的数量而不是根据消息加载而增长。又不好了。

另一种避免客户端拒绝攻击或饥饿的方法可能更好，那就是限制客户端生成消息的速率(节流)。