用于大容量数据处理的Spring或Kafka流

Question

我正致力于为银行创建一个大容量的JSON数据处理应用程序，使用Spring、Kafka和QuickFIX/J。这是我第一次使用Kafka和QuickFIX/J这样的技术，无法决定是使用普通的Kafka spring还是Kafka流还是spring云流。以下是要求：

1. 从多个
2. 进程读取数据，并将数据发送给QuickFIX/J启动器，后者进一步将其发送到外部修复引擎
3. -- QuickFIX/J受体从外部修复引擎接收数据，并将其再次写入多个卡夫卡主题，但这次不同的是

。

我读过一些教程/文章，这些文章说Kafka流或spring云流是好的，如果您有消费者/生产者，执行高容量的数据流，并希望实现一次处理。但是，在这里，我需要发送数据给外部的一方后，处理，接收，然后写信给卡夫卡的主题。

使用卡夫卡流是一个不错的选择吗？还是我应该用弹簧卡夫卡和正常的生产者和消费者？

Answer 1

是Apache在Spring之上的一个更高层次的、固执己见的抽象。它可以处理您的用例(有几个“接收器”示例应用程序)。

同样，卡夫卡流不一定要产生输出给卡夫卡(尽管这是它的目的)。

可能最快的进入坡道是Stream (或者Spring为Apache提供Spring )，因为大多数cookie裁剪配置都是为您提供的，您可以只专注于您的业务逻辑。