我们面临的挑战是创建一个卡夫卡制作人,它连接到卡夫卡集群,卡夫卡集群生活在库伯奈特斯集群之外。我们有几个基于前提的RDBMS数据库,我们希望将数据直接流到生活在AWS上Kubernetes的Kafka。我们尝试了一些东西,并部署了汇合的开源平台,但到目前为止没有什么效果。有谁对这个问题有明确的答案吗?
发布于 2018-10-22 12:30:12
发布于 2019-02-13 20:56:47
Kafka客户端需要连接到特定的节点来生成或使用消息。
kafka协议可以连接到任何节点以获取元数据。然后,客户端连接到特定的节点,该节点已被选定为客户机希望生成/消费的分区的领导者。
每个卡夫卡吊舱必须是单独访问,所以你需要一个L4负载均衡器每个吊舱。可以在kafka配置中设置公告的侦听器配置,为内部和外部客户端发布不同的IP/主机名。将ADVERTISED_LISTENERS外部配置为使用负载均衡器,内部配置为使用pod。内部和外部的端口必须不同。
结帐https://strimzi.io/,https://bitnami.com/stack/kafka,https://github.com/confluentinc/cp-helm-charts
更新: 正在尝试在k8s中安装kafka,运行在AWS EC2中。在汇合操作符、bitnami-kafka和strimzi之间,只有strimzi在kafka设置外部配置到负载均衡器。 bitnami使用无头服务,这在k8s网络之外是没用的.Confluent-运算符将配置为节点的IP,这使得节点可以在k8s之外访问,但是对于那些可以通过私有IP访问EC2实例的节点。
https://stackoverflow.com/questions/52928847
复制相似问题