Kafka集群设置

Question

我是卡夫卡技术的新手。我已经使用Ambari设置了一个基本的单节点集群。

我想了解生产服务器的推荐配置是什么。比方说，在生产中，我将有5个主题，每个主题的流量在50万到5000万之间，一天之内。

我正在考虑使用EC2 r5.x大型实例来设置一个3-4节点kafka集群。

我对动物园管理员的角色很困惑。我知道动物园管理员需要奇数的节点，所有的kafka节点上都安装了动物园管理员，然后如何使用偶数节点来运行Kafka。如果这是真的，它将限制卡夫卡的奇数节点以及。

是否真的需要在卡夫卡的所有节点上安装动物园管理员。我可以在不同的节点上安装动物园管理员，在不同的节点上安装Kafka代理吗？

如果我想要运行多个卡夫卡集群。是否有可能通过单一的动物园管理员集群来管理多个Kafka集群，如果可能的话？

我最近才开始学习卡夫卡，任何帮助都将不胜感激。

谢谢,

Answer 1

我对动物园管理员的角色很困惑。我知道动物园管理员需要奇数的节点，所有的kafka节点上都安装了动物园管理员，然后如何使用偶数节点来运行Kafka。如果这是真的，它将限制卡夫卡的奇数节点以及。

动物园管理员可以，但不必安装在与kafka相同的服务器上。不需要在奇数节点上运行动物园管理员，只是很好的推荐。

是否真的需要在卡夫卡的所有节点上安装动物园管理员。我可以在不同的节点上安装动物园管理员，在不同的节点上安装Kafka代理吗？

这不是必需的，更好的是没有动物园管理员和卡夫卡在同一台服务器上。在另一台服务器上安装动物园管理员与它们驻留在同一台服务器上的情况非常相似。每个kafka都需要有指向所有动物园管理员节点的zookeeper.connect设置。

如果我想要运行多个卡夫卡集群。是否有可能通过单一的动物园管理员集群来管理多个Kafka集群，如果可能的话？

这是可能的。在这种情况下，建议将服务器专门用于动物园管理员集合。在本例中，在zookeeper.connect设置中，您应该使用主机名:port/path，而不是只使用主机名:port。

Answer 2

我可以在不同的节点上安装动物园管理员，在不同的节点上安装Kafka代理吗？

你可以，如果你有可用的资源，你应该这么做。

在奇数个服务器上运行zookeeper-server-start zookeeper.properties。(卡夫卡大集群最多5或7)

在每一台卡夫卡代理的其他机器上，编辑server.properties以指向zookeeeper.connect属性的一组动物园管理员计算机地址，而不是与Zookeeper相同的服务器。

然后为每一个新的卡夫卡经纪人做kafka-server-start server.properties。

从那里开始，你可以独立于动物园管理员来缩放卡夫卡。

是否可以通过单一动物园管理员集群来管理多个Kafka集群？

查找动物园管理员色度

一个Kafka集群将被定义为

zoo1:2181/kafka1

一秒

zoo1:2181/kafka2

如果机器不应该在同一个卡夫卡集群中，小心不要把它们混在一起。

您可以找到各种CloudFormation、Terraform或Ansible repos，用于在Github上的云中以分散的方式设置Kafka，或者如果您熟悉Kubernetes，可以选择Kubernetes。