确定kafka-客户机与kafka-broker的兼容性

Question

在远程kafka云集群中，kafka代理将被更新为新版本(5.1)，因此将应用新的kafka协议。

现在我应该更新我的卡夫卡客户，使之能够连接。现在，我在我的spring引导应用程序中使用了以下kafka相关依赖项：

<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-parent</artifactId>
<version>1.3.8.RELEASE</version>

<groupId>org.springframework.integration</groupId>
<artifactId>spring-integration-kafka</artifactId>
<version>2.0.1.RELEASE</version>

<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka-test</artifactId>
<version>1.0.3.RELEASE</version>

<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
<version>1.0.3.RELEASE</version>

<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>0.9.0.1</version>

<groupId>org.apache.kafka</groupId>
<artifactId>kafka_2.11</artifactId>
<version>0.9.0.1</version>

我已经为卡夫卡客户和卡夫卡经纪人寻找了一个合适的兼容性矩阵。

• 有谁知道如何成功升级吗？
• 有谁有这个依赖项的可比较矩阵吗？

Answer 1

根据文件：

以前，一般规则是与客户交互的Kafka代理必须是比客户更新的版本。现在，支持KIP-35的新版本的Java客户端和其他客户端(如librdkafka )能够回到旧的请求类型，或者在功能不可用时抛出适当的错误。

汇合矩阵在项目页面上有一个链接(以及spring/kafka-客户端兼容性)。

Answer 2

来自https://github.com/spring-cloud/spring-cloud-stream/wiki/Kafka-Client-Compatibility

相容矩阵

+--------+--------------+------------------+---------------+-------------+
| Spring |  Spring for  |      Spring      | kafka-clients |    Kafka    |
|  Cloud | Apache Kafka |    Integration   |               |    Broker   |
| Stream |              | for Apache Kafka |               |             |
+--------+--------------+------------------+---------------+-------------+
| 2.1.x  | 2.2.x        | 3.1.x            | 2.0.0,        | 2.0.0,      |
|        |              |                  | 1.1.x,        | 1.1.x,      |
|        |              |                  | 1.0.x(*)      | 1.0.x,      |
|        |              |                  |               | 0.11.0.x(*) |
+--------+--------------+------------------+---------------+-------------+
| 2.0.x  | 2.1.x        | 3.0.x            | 1.1.x,        | 1.1.x,      |
|        |              |                  | 1.0.x(*)      | 1.0.x,      |
|        |              |                  |               | 0.11.0.x(*) |
+--------+--------------+------------------+---------------+-------------+
| 1.3.x  | 1.3.x,       | 2.3.x,           | 0.11.0.x(**), | 0.10.x.x    |
|        | 1.2.x,       | 2.2.x,           | 0.10.2.x      | or higher   |
|        | 1.1.x        | 2.1.x            |               |             |
+--------+--------------+------------------+---------------+-------------+
| 1.2.x  | 1.2.x,       | 2.2.x,           | 0.10.1.x      | 0.10.x.x    |
|        | 1.1.x        | 2.1.x            |               | or higher   |
+--------+--------------+------------------+---------------+-------------+

其他来源

• https://cwiki.apache.org/confluence/display/KAFKA/Compatibility+Matrix
• https://spring.io/projects/spring-kafka

Answer 3

现在支持双向客户端兼容性，您不再需要担心兼容性矩阵了，对于支持KIP-35的客户端，任何版本都是好的，KIP-35是从Broker协议中发布的- 0.10.0，Java客户机- 0.10.2。

请参阅：

https://cwiki.apache.org/confluence/display/KAFKA/Compatibility+Matrix

https://www.confluent.io/blog/upgrading-apache-kafka-clients-just-got-easier/