Kafka管道的SSL加密

Question

外面有SingleStore用户吗？

为了为Kafka管道启用SSL加密(仅)，我们创建了如下管道：

CREATE PIPELINE `kafka_ssl`
AS LOAD DATA KAFKA '<kafka-host>:<kafka-port>/test'
CONFIG '{"security.protocol": "ssl"
"ssl.ca.location": "<path-to-the-ca-certificate>"}''
INTO table <t>;

来自https://docs.memsql.com/v7.0/concepts/pipelines/kafka-kerberos-ssl/ 22

请注意，我们不是在寻找客户端身份验证(相互TLS连接)。这要求我们手动将CA证书复制到memsql节点中，并提供该路径。对于独立的Kafka集群来说，这很好。

如果我们使用AWS MSK，推荐的方法是什么？

以下文档指向MSK客户端SSL加密的客户端配置。它们使用客户端信任存储位置作为一个属性，该属性不是memsql管道配置json的标识属性。

https://docs.aws.amazon.com/msk/latest/developerguide/msk-encryption.html 10 https://docs.aws.amazon.com/msk/latest/developerguide/msk-authentication.html

在SingleStore论坛上可以看到其他人也有同样的问题。无法在方框中创建从Singlestore到AWS MSK的管道。

Answer 1

我们假设，

这是您的(==客户)服务名称：==

这是我的(== ss的) dns名称，用于您的端点：==

DNS vpce-07e59dd12b36925ee-q2lyxq0y.vpce-svc-05738b36bf477df03.ap-southeast-2.vpce.amazonaws.com，用于__spoof.dns；vpce-svc-06f99678d75724074.ap-southeast-2.vpce..com com.amazonaws.vpce.ap-southeast-2.vpce-svc-06f99678d75724074

创建或替换管道'DNS:6000/prod_common_v0_event_wrapper_thing_event‘kafka_insert_thing_event_v0作为加载数据KAFKA kafka_insert_thing_event_v0配置'{ "DNS:6000"："DNS:6000"，"b-1.events.eg3qf0.c2.kafka.ap-southeast-2.amazonaws.com:9092"："DNS:6001"，"b-2.events.eg3qf0.c2.kafka.ap-southeast-2.amazonaws.com:9092"："DNS:6002"，"b-3.events.eg3qf0.c2.kafka.ap-southeast-2.amazonaws.com:9092"："DNS:6003“}进入表t；

我还附上了与SingleStore集成的MSK文档，以供参考。我希望它能帮到你。

https://docs.google.com/document/d/17nl9S__oxIo4J30OM1WHTkkqrCSYFqJ44sUcJxKM0QA/edit?usp=sharing&urp=gmail_链接