Kafka推荐的系统配置

Question

我预计我们涌入Kafka的人数将在一段时间内上升到2 TB/day左右。我计划用2 brokers设置一个Kafka集群(每个都运行在不同的系统上)。建议的处理2 TB/day的硬件配置是什么？

Answer 1

对于Kafka，我不确定是否有特定的配置。至少我可以告诉你一些关于卡夫卡的基本情况。您需要知道每秒收到的消息量，因为这将决定您所需的RAM。确保你也有足够的硬盘存储空间。没有必要使用SSD，因为系统将首先使用RAM来存储数据。不过，您可能需要相当快的硬盘，以确保队列的刷新过程不会减慢您的系统。

我也推荐使用3个kafka代理和3或4个zookeeper服务器。