Flink Kafka连接器SSL支持

Question

我们在生产环境中有一个安全的Kafka集群(使用TLS加密、基于证书的客户端身份验证和ACL)。我正在尝试弄清楚如何使用适当的设置配置Flink Kafka连接器，以便它可以安全地连接到我们的Kafka集群。Flink可以做到这一点吗？我是否必须通过属性传递安全配置内容？

我们的Flink集群运行在Kubernetes (1.14.2)上，并使用最新的Flink稳定版本(v1.8)和集成的kafka连接器。

Answer 1

在摆弄了一些文档之后，我自己把它弄好了。我现在提供了在运行helm时部署时所需的Java密钥库(我们通过helm图表部署整个Flink内容)。密钥库将被base64编码并保存为Kubernetes secret。任务管理器pod将秘密挂载到给定的位置。

在运行Flink作业时，我现在可以在命令行上将密钥库/信任库的位置和它们的密码作为params进行传递。这些参数最终用于通过属性配置Kafka客户端。