订阅方法在试图从kafka (0.10版本)访问kafka (0.90版本)时抛出错误

Question

这是我们的开发环境。

1) kafka集群-版本为0.10 2)星团- 1.6，其中有0.9卡夫卡罐

我们试图在星火集群模式下生成()和消费()。(通过火花提交)

运行火花提交作业时，火花选择0.9版本的卡夫卡。以下是我们的观察

1) Producer - works精细( 0.9 api和0.10 api生产者兼容) 2)使用KafkaUtils的卡夫卡消费者流- works精细(这里似乎也有0.9API和0.10 api生产者兼容) 3)消费者使用订阅( api )错误-错误与以下消息。有人能帮我们知道为什么失败吗？

16/10/24 02:31:08错误yarn.ApplicationMaster: User类抛出异常: java.lang.NoSuchMethodError: java.lang.NoSuchMethodError java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection；)V在sun.reflect.NativeMethodAccessorImpl.invoke0(Native com.common.kafka.init(Kafkafunction.java:150) at com.client.Client.main(Client.java:100) )在sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606)在org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:542) 16/10/24 02:31:08信息yarn.ApplicationMaster:最终应用程序状态:失败，org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection；：exitCode: 15 (原因: User类抛出异常: java.lang.NoSuchMethodError: java.lang.NoSuchMethodError(五)

Answer 1

将所有内容更新到0.10解决了这个问题。在这行org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;)V中，这些版本绝对不兼容。