如何在ProxmoxVE + CEPH集群中获得更好的性能

Question

我们从5.0开始运行ProxmoxVE (现在是6.4到15)，我们注意到每当有大量的读/写时，性能就会下降。

我们有9个节点，7个有CEPH，56个OSD(每个节点有8个)。OSD是硬盘驱动器(HDD)，WD Gold或更高(4~12 Tb)。具有64/128 Gbytes RAM的节点，双Xeon CPU主板(各种型号)。

我们已经尝试过一些简单的测试，比如"ceph .* bench“，在正常操作期间，它们的数据传输速度稳定在+- 10 Mb/秒之间。申请/提交延迟通常在55 ms以下，其中几个OSD达到100 ms，三分之一低于20 ms。

前端网络和后端网络都是1 Gbps (在VLAN中分离)，我们试图移动到10 Gbps，但我们发现了一些麻烦，我们仍在试图解决(不稳定的OSD断开连接)。

池被定义为具有3个副本的“复制”(保持运行所需的2个副本)。现在磁盘空间的总量为305 Tb (72% )，由于一些OSD比其他OSD获得的数据更多，所以使用了重重。

虚拟机运行在相同的9个节点上，大多数不是CPU密集型的：

• 平均VM CPU使用率< 6%
• 平均节点CPU使用率< 4.5%
• 峰值VM CPU使用率40%
• 峰值节点CPU使用率30%

但I/O等待则是另一回事：

• 平均节点IO延迟11
• 麦克斯。节点IO延迟38

磁盘写入负载平均为4兆字节/秒，峰值高达20兆字节/秒。

有谁有获得更好的Proxmox+CEPH性能的经验吗？

提前感谢大家抽出时间阅读，

鲁本。

Answer 1

有一些你可以遵循的Ceph指针..。

• 获得一些良好的NVME(每台服务器有一个或两个，但如果每台服务器有8个and，就足够了)，并将它们作为DB/WALL (确保它们有电源保护)
• ceph tell osd.* bench与现实世界没有那么相关，我建议尝试一些FIO测试，参见这里。
• 将OSD osd_memory_target设置为8G或RAM最小。
• 为了保存HDD上的一些写入(数据不被复制X次)，创建RBD pool as EC (擦除编码池)，但是请对此做一些研究，因为有一些权衡。恢复需要额外的CPU计算。

总之，大肆宣传的集群有利于培训，小型项目和中型项目的工作量不太大.记住，计划是金。

只是我的2分钱，B。