在小块大小的dd oflag=dsync上，Ceph写慢

Question

我们已经部署了一个ceph集群，其版本为12.2.5，使用戴尔R730xd服务器作为存储节点，10台7.2k NLSAS驱动器作为OSD。我们有3个存储节点。

我们没有配置RAID设置，而是直接使用驱动器来创建OSD。

我们正在使用ceph ansible-稳定-3.1来部署ceph集群。

在VM中使用RBD映像的磁盘写测试中，我们遇到了性能缓慢的问题。

[root@test-vm-1 vol2_common]# dd if=/dev/zero of=disk-test bs=512 count=1000 oflag=direct ;  dd if=/dev/zero of=disk-test bs=512 count=1000 oflag=dsync ; dd if=/dev/zero of=disk-test bs=512 count=1000
1000+0 records in
1000+0 records out
512000 bytes (512 kB) copied, 0.101852 s, 5.0 MB/s
1000+0 records in
1000+0 records out
512000 bytes (512 kB) copied, 21.7985 s, 23.5 kB/s
1000+0 records in
1000+0 records out
512000 bytes (512 kB) copied, 0.00702407 s, 72.9 MB/s

当检查OSD节点时，在osd目录下，我们确定了相同的较低磁盘速度。

[root@storage01moc ~]# cd /var/lib/ceph/osd/ceph-26
[root@storage01moc ceph-26]#  dd if=/dev/zero of=disk-test bs=512 count=1000 oflag=direct ;  dd if=/dev/zero of=disk-test bs=512 count=1000 oflag=dsync ; dd if=/dev/zero of=disk-test bs=512 count=1000
1000+0 records in
1000+0 records out
512000 bytes (512 kB) copied, 14.6416 s, 35.0 kB/s
1000+0 records in
1000+0 records out
512000 bytes (512 kB) copied, 9.93967 s, 51.5 kB/s
1000+0 records in
1000+0 records out
512000 bytes (512 kB) copied, 0.00591158 s, 86.6 MB/s

我们怀疑造成此问题的原因是没有在单独的OSD驱动器上使用任何RAID配置(RAID 0)时硬件缓存可用。

Configurations

[global]
fsid = ....
mon initial members = ...
mon host = ....
public network = ...
cluster network = ...  
mon_pg_warn_max_object_skew=500

[osd]
osd mkfs type = xfs
osd mkfs options xfs = -f -i size=2048
osd mount options xfs = noatime,largeio,inode64,swalloc
osd journal size = 10240

[client]
rbd cache = true
rbd cache writethrough until flush = true
rbd_concurrent_management_ops = 20

磁盘详细信息

=== START OF INFORMATION SECTION ===
Vendor:               TOSHIBA
Product:              MG04SCA60EE
Revision:             DR07
Compliance:           SPC-4
User Capacity:        6,001,175,126,016 bytes [6.00 TB]
Logical block size:   512 bytes
Physical block size:  4096 bytes
Formatted with type 2 protection
Rotation Rate:        7200 rpm
Form Factor:          3.5 inches
Device type:          disk
Transport protocol:   SAS (SPL-3)
Local Time is:        Wed Aug  1 20:59:52 2018 +08
SMART support is:     Available - device has SMART capability.
SMART support is:     Enabled
Temperature Warning:  Disabled or Not Supported

请告诉我，如果我们收缩OSD，在驱动器上使用RAID 0并重新创建OSD，会不会有助于增加磁盘写入量？

提前谢谢。

Answer 1

当我们在存储控制器上使用RAID0配置每个OSD驱动器时，磁盘写入问题就得到了解决。

标识为RAID控制器写缓存的速度慢的原因不适用于未配置任何RAID级别的驱动器。