支持集群的Apache Camel Idempotent存储库

Question

我正在尝试实现一个Camel Spring应用程序，该应用程序使用FileComponent在目录上轮询。我还想支持集群，这意味着这个Camel-spring引导应用程序的多个实例可以从目录中启动和使用。

我正在尝试用IdempotentRepository在文件使用者上实现KafkaIdempotentRepository。但是，当我同时启动两个实例时，它们都使用一个文件进入目录，两个实例广播操作:add my_file_name。

文件组件的配置如下：

file:incoming?readLock=idempotent&idempotentRepository=#myKafkaRepo&readLockLoggingLevel=WARN&shuffle=true

集群Idempotent上的所有示例都与Hazelcast一起使用，对我来说，由于操作原因，很难将它强加给我的用户。

我的问题是: KafkaIdempotentRepository支持集群IdempotentRepository吗？如果没有，您建议使用哪种实现？

Answer 1

卡夫卡：：Apache IdempotentRepository文档

在启动时，实例订阅主题并将偏移量重卷到开头，将缓存重新构建到最新状态。在对长度为0的pollDurationMs进行的一次投票返回0条记录之前，缓存不会被认为是热身的。在缓存升温或30秒结束之前，将无法完成启动；如果发生了后者，则幂等存储库可能处于不一致状态，直到其使用者赶上主题的末尾为止。

我的观点

• 这取决于您需要记住多少最近处理的记录，以及主题的保留期。
• 如果您可以设置该主题的保留时间足够大，足以满足您的记录数量以记住需求，但足够小的缓存热身可以在30秒内完成，请继续。