如果制片人倒闭，卡夫卡会怎么做？

Question

我对卡夫卡建筑有点困惑。我们想要捕获Twitter流API。我们遇到了一个https://github.com/NFLabs/kafka-twitter/blob/master/src/main/java/com/nflabs/peloton2/kafka/producer/TwitterProducer.java推特的制作人。

我想的是如何设计系统，使其具有容错性。

如果制片人倒闭了，是不是意味着我们失去了一些数据？如何防止这种情况发生？

Answer 1

如果您链接到的生产者停止运行，来自Twitter API的新数据将不会进入Kafka。我不确定是如何工作的，但可能有可能获得历史数据，允许您将所有数据取回到生产者失败时的程度。

另一种选择是使用Kafka，它是一种分布式的容错服务，用于将数据源和接收器连接到Kafka。Connect公开更高级别的API，并在幕后使用开箱即用的生产者/消费者API。文档非常彻底地解释了连接，所以从那里开始读一读。