在Kubernetes/OpenShift中运行Kafka Connect Workers，而不通过REST API发布配置？

Question

我想在OpenShift上运行卡夫卡连接工人。我想使用OpenShift (自动)向外扩展。但是，如果连接器配置通常是在启动后通过REST调用手动提供给特定的worker，那么我不清楚如何传递连接器配置。

因此，问题是，是否有可能在启动时为worker提供完整的连接器规范，而不使用REST调用。

Answer 1

在不使用REST调用的情况下启动时的

不，它不是。参见the issue I created for it。

不过，您只需使用REST加载一次conncetor配置即可。worker配置完全是环境变量驱动的，并且scaling worker不需要发布新的连接器配置来扩展它们，除非您确实想要增加tasks.max。但是你可以从Kafka分区的数量开始，这是你对Connect的限制，即使只有一个工作进程。

Answer 2

就我个人而言，我认为可以使用一些模板将信息注入到kafka pods中，例如deploymentConfig、statefulset、daemonset等。

例如，下面的链接解释了一个ruby应用程序如何从注入环境变量中获取mysql连接信息。

• Defining a Service for an External Database

环境：-名称："MYSQL_USER“值："${MYSQL_USER}”-名称："MYSQL_PASSWORD“值："${MYSQL_PASSWORD}”-名称："MYSQL_DATABASE“值："${MYSQL_DATABASE}”

与上面的示例一样，您应该启动一些wrapper start script或binary of related application，它们是通过获取连接信息作为environment variables来配置的。