首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何从外部与“库伯奈特”中的卡夫卡联系?

问如何从外部与“库伯奈特”中的卡夫卡联系?
EN

Stack Overflow用户
提问于 2018-10-22 12:01:25
回答 2查看 1.6K关注 0票数 3

我们面临的挑战是创建一个卡夫卡制作人,它连接到卡夫卡集群,卡夫卡集群生活在库伯奈特斯集群之外。我们有几个基于前提的RDBMS数据库,我们希望将数据直接流到生活在AWS上Kubernetes的Kafka。我们尝试了一些东西,并部署了汇合的开源平台,但到目前为止没有什么效果。有谁对这个问题有明确的答案吗?

EN

回答 2

Stack Overflow用户

发布于 2018-10-22 12:30:12

您可以看看如何在Kubernetes中部署卡夫卡连接。由于您希望从各种RDMBS数据库复制数据,因此需要设置源连接器,

源连接器接收对Kafka主题的整个数据库和流表更新。它还可以将来自所有应用服务器的度量收集到Kafka主题中,使数据可以以低延迟的方式进行流处理。

根据源数据库的不同,您必须配置相应的连接器。

如果你不熟悉卡夫卡连接,这篇文章可能会很有帮助,因为它解释了关键的概念。

票数 0
EN

Stack Overflow用户

发布于 2019-02-13 20:56:47

Kafka客户端需要连接到特定的节点来生成或使用消息。

kafka协议可以连接到任何节点以获取元数据。然后,客户端连接到特定的节点,该节点已被选定为客户机希望生成/消费的分区的领导者。

每个卡夫卡吊舱必须是单独访问,所以你需要一个L4负载均衡器每个吊舱。可以在kafka配置中设置公告的侦听器配置,为内部和外部客户端发布不同的IP/主机名。将ADVERTISED_LISTENERS外部配置为使用负载均衡器,内部配置为使用pod。内部和外部的端口必须不同。

结帐https://strimzi.io/,https://bitnami.com/stack/kafka,https://github.com/confluentinc/cp-helm-charts

更新: 正在尝试在k8s中安装kafka,运行在AWS EC2中。在汇合操作符、bitnami-kafka和strimzi之间,只有strimzi在kafka设置外部配置到负载均衡器。 bitnami使用无头服务,这在k8s网络之外是没用的.Confluent-运算符将配置为节点的IP,这使得节点可以在k8s之外访问,但是对于那些可以通过私有IP访问EC2实例的节点。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/52928847

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档