informatica与Kafka的集成

Question

我计划在Informatica中使用Kafka数据对象。我想每5分钟通过Informatica从Kafka读取数据。我很少有疑问，卡夫卡如何认识到当前的偏移，从它必须加载。我们可以设置一个主题的偏移量，Informatica需要从它加载Kafka数据对象中的增量或更改的数据吗？我找到了以下答案，请您纠正我的确切过程: 1)动物园管理员是否将当前偏移量存储到加载数据的位置。2)若要读取上次提交的偏移量后的消息，需要将使用者配置文件中的auto.offset.reset参数设置为最大。

请给我一个如何从卡夫卡获取数据的方法。

致以敬意，

斯利纳特

Answer 1

回答你的问题，

1. 旧的使用者API将偏移量存储在ZooKeeper中。然而，新的消费者API将补偿存储在Kafka的内部主题中。
2. 默认情况下，在消费群体中，一个Kafka消费者开始使用来自上一次提交的偏移量的消息。当使用者组不存在已提交的偏移量时，配置auto.offset.reset就会起作用。例如，当使用者作为一个新的使用者组的一部分开始消费时，这个配置决定了在日志中它应该从哪里开始(日志的开始或日志的结束)。