与鲁克，卡夫和RBD一起表现不佳

Question

我在4个VM上有一个k8s集群。1名硕士和3名工人。在每个工作人员上，我使用rook部署一个ceph。OSD使用的磁盘与VM操作系统相同。

VM磁盘是远程的(底层基础结构也是Ceph集群)。

这是VM磁盘的性能(所有3种性能都类似)：

$ dd if=/dev/zero of=testfile bs=1G count=1 oflag=direct
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB) copied, 4.82804 s, 222 MB/s

空闲时的延迟(等待)约为8ms。

如果我在K8S POD中挂载一个RBD卷，性能非常差：

$ dd if=/dev/zero of=testfile bs=1G count=1 oflag=direct
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 128.619 s, 8.3 MB/s 

在高负载期间( rbd卷为100% util )，RBD卷的延迟大于30秒。

我知道，我的设置不是ceph推荐的，dd也不是分析磁盘性能的最佳工具，但是让ceph在VM磁盘上使用还需要付出很大的代价。

VM操作系统是

CentOS 7.7.1908.
Kernel 3.10.0-1062.12.1.el7.x86_64

工作节点之间的网络带宽：

[ ID] Interval           Transfer     Bandwidth
[  5]   0.00-10.00  sec  2.35 GBytes  2.02 Gbits/sec

网络延迟小于1ms。

我正在寻找一些提示，以进一步解决问题和提高性能。

Answer 1

有关CEPH集群的信息不够。但是有些东西会提高性能：

• 有必要将日志放在分离的SSD (NVMe更好)上。即使你们是SSD。
• 使用10 Use网络和独立的集群和外部网络。它将改善网络延迟。
• 不要使用3拷贝卷。这是一个很好的特性，但它会使集群变得更慢。
• 默认情况下，擦除始终有效。有必要改变它。晚上最好擦洗一下。
• 使用BlueStore作为OSD的格式。
• 优化服务器以获得最佳性能。例如，CPU调控器应该是性能。