使用ssl身份验证的Benthos kafka使用者

Question

我正在使用底栖动物(https://www.benthos.dev/)来使用来自卡夫卡主题的消息。

用本地kafka测试我的Benthos配置很好，但是当我使用产品Kafka部署测试相同的配置时，使用SSL身份验证时，Benthos配置不会消耗任何消息。

配置可以连接到Kafka，我看到的最后一个日志是下面这个。

"@timestamp":"2021-12-10T00:22:44Z","@service":"benthos","component":"benthos.input","level":"DEBUG","message":"Starting consumer group"}

当我使用没有SSL的本地kafka运行相同的底栖动物配置时，我可以在前面的日志之后再看到一个日志。

{"@timestamp":"2021-12-09T23:49:50Z","@service":"benthos","component":"benthos.input","level":"DEBUG","message":"Consuming messages from topic 'topicname' partition '0'"}

我怀疑，缺乏这最后的痕迹，当使用生产卡夫卡与SSL激活一定是线索的错误，但我无法找出问题。有人能帮忙吗？

这是我正在使用的Benthos配置。

input:
  kafka:
    addresses:
      - kafka-server:443
    topics:
      - kafka-topic
    tls:
      enabled: true
      root_cas_file: ssl/ca.crt
      client_certs:
        - cert_file: ssl/cert.pem
          key_file: sl/key.pem
    consumer_group: consumer-group
    start_from_oldest: false
    checkpoint_limit: 1
    commit_period: 1s
    max_processing_period: 600ms
    group:
      session_timeout: 50s
      heartbeat_interval: 8s
      rebalance_timeout: 60s

BR，Esteban Collado

Answer 1

好的，我所用的底栖动物配置很好。问题在于kafka服务器端的一些ACL配置。

Answer 2

对于任何想要使用Kafka身份验证测试Benthos的人来说，我把一个示例这里放在一起，在这里我使用Terraform和配置红熊猫 (它提供了与Kafka相同的API )生成有效的证书，并在一个坞-撰写环境中生成了通过TLS相互通信的Benthos。