使用kubernetes安装kafka和zookeeper集群

Question

有没有人可以和我分享一下用两个kafka broker和zookeeper集群创建kafka集群的yaml文件。我是kubernetes新手。

Answer 1

查看https://github.com/Yolean/kubernetes-kafka，确保代理内存限制为2 GB或更高。

在kubernetes中维护一个可靠的kafka集群仍然是一个挑战，祝你好运。

Answer 2

我建议你试试Strimzi Kafka Operator。使用它，您可以像其他Kubernetes对象一样定义Kafka集群-编写yaml文件。此外，用户、主题和Kafka Connect集群也只是一个k8s对象。一些(不是全部！)Strimzi Kafka运算符的特性：

• 代理之间以及代理和zookeeper之间的安全通信，具有TLS
• 功能，可将k8s

外部的群集显示为舵图(它大大简化了操作)更改群集时的

• 滚动更新横向扩展
• 准备好使用Prometheus和zookeeper监视群集

值得一提的是great documentation。

创建Kafka集群和应用Kubernetes清单一样简单，如下所示：

apiVersion: kafka.strimzi.io/v1beta1
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    version: 2.2.0
    replicas: 3
    listeners:
      plain: {}
      tls: {}
    config:
      offsets.topic.replication.factor: 3
      transaction.state.log.replication.factor: 3
      transaction.state.log.min.isr: 2
      log.message.format.version: "2.2"
    storage:
      type: jbod
      volumes:
      - id: 0
        type: persistent-claim
        size: 100Gi
        deleteClaim: false
  zookeeper:
    replicas: 3
    storage:
      type: persistent-claim
      size: 100Gi
      deleteClaim: false
  entityOperator:
    topicOperator: {}
    userOperator: {}

Answer 3

我想你可以在这里看看Strimzi项目，https://strimzi.io/。它基于Kubernetes operator模式，提供了一种使用自定义资源在Kubernetes上部署和管理Kafka集群的简单方法。Kafka集群是通过一个新的"Kafka“资源YAML文件描述的，用于设置您需要的所有内容。操作员负责这一点，并为您部署Zookeeper集成+ Kafka集群。它还部署了两个以上的运算符来处理主题和用户(但它们是可选的)。