Kafka将Docker用于生产集群

Question

我们需要构建一个3到5个节点的卡夫卡生产集群，

我们有以下选择：

码头容器中的

1. Kafka (Kafka集群包括每个节点上的动物园管理员和模式注册表)
2. Kafka集群不使用停靠器(

集群包括每个节点上的动物园管理员和模式注册表)

由于我们谈论的是生产集群，所以我们需要良好的性能，因为我们有很高的磁盘读/写(磁盘大小为10T)、良好的IO性能等等。

所以使用Docker的Kafka满足产品集群的要求吗？

更多信息- https://www.infoq.com/articles/apache-kafka-best-practices-to-optimize-your-deployment/

Answer 1

当然可以。我没有使用它的个人经验，但是如果您没有管理其他状态容器的经验，我建议您避免使用它。

至于在容器中使用Kafka的“入门”，Kubernetes是最有记录的方式，而Strimzi (Lightbend提供的免费、可选的商业支持)或Confluent运算符(Confluent提供的商业支持)可以使这在使用Kubernetes或Openshift时变得更容易。或者DC/OS在Mesos/马拉松上提供Kafka服务。如果您还没有这些服务，那么我认为您应该倾向于不使用容器。

根据我的经验，裸金属部署或虚拟化部署要比手工部署的容器部署容易得多。特别是用于日志记录、度量收集和通过网络静态分配Kafka侦听器映射。Confluent提供了用于对此类环境进行部署的可移植脚本

这并不是说有些公司在这方面取得了成功，或者至少尝试过。例如，IBM、RedHat和Shopify立即出现在我的搜索中。

这里有几个关于卡夫卡在容器中时要考虑的问题，https://www.confluent.io/kafka-summit-london18/kafka-in-containers-in-docker-in-kubernetes-in-the-cloud

https://kafka-summit.org/sessions/running-kafka-kubernetes-practical-guide/