点到点高吞吐量的MQ选择

Question

我有一个关于这些特殊要求的设想：

• 生产准备和稳定。
• 点对点连接，与防火墙后面的生产者和云中的使用者进行连接。也许可以在两个生产者\使用者之间分割流量，但是所有的流量仍然必须穿过一个单一的WAN连接，这可能是瓶颈。
• 高吞吐量-大约300 Mb/秒(可能高达1Gb!)。消息大小从~1KB到可能有几个MBs不等。
• 保证传递是必须的--每条消息最终都必须到达使用者那里，所以我们需要开始将消息保存到磁盘上，以防出现短暂的网络中断或内存耗尽的风险。
• 消息顺序并不重要，消息是有时间戳的，可以在消费者处重新排列。
• 应该同时在linux和windows上运行(JVM似乎是显而易见的选择)，这一点非常可取，但并不重要。

我最近一直在看这么多的MQs，我没有任何实际的经验。

我想问问有经验的人会更好。

我们主要考虑的是Kafka，但我不确定它是否适合我们的用例，似乎是针对分布式部署和多样化主题\使用者\生产者而量身定做的。而且，在windows上肯定没有准备好生产。阿帕奇ActiveMQ或者阿波罗\Artemis呢？RabbitMQ似乎不适合我们的性能要求。或者可能有一些Java库具有我们所需要的特性，而没有中间人代理呢？

对此有任何帮助，我们将不胜感激。

Answer 1

如果有人遇到这种情况，我们最终会和卡夫卡一起去。它的性能令人印象深刻，到目前为止它在linux上非常稳定。还没有尝试在生产部署中在windows上运行它。

更新(12/3/2017)：在Linux上运行良好且非常稳定，但在上无法在生产中使用。由于文件句柄泄漏，旧数据从未被删除，相关的Jira自2013年以来一直被忽略：https://issues.apache.org/jira/browse/KAFKA-1194