CephFS池不能使用所有可用的原始空间(MAX_AVAIL < use )

Question

我有一个Ceph集群，打算在硬盘机箱上以CephFS的形式运行，在多台服务器上提供9 9PiB的原始空间。

我创建了一个3+3擦除编码池，它应该跨越硬盘驱动器的整个原始空间。

令人惊讶的是，它似乎只占用了9 1PiB中的6 1PiB，所以当我将~2.5PiB数据写入其中(以及~2.5PiB更多的校验和)时，它说我只有500 1PiB可用空间(相当于1 1PiB的原始空间)。

这是ceph df的输出

$ sudo ceph df
RAW STORAGE:
    CLASS     SIZE        AVAIL       USED        RAW USED     %RAW USED 
    hdd       8.9 PiB     3.7 PiB     5.2 PiB      5.2 PiB         58.62 
    ssd        35 TiB      15 TiB      20 TiB       20 TiB         57.96 
    TOTAL     9.0 PiB     3.7 PiB     5.2 PiB      5.3 PiB         58.62 
 
POOLS:
    POOL                ID     STORED      OBJECTS     USED        %USED     MAX AVAIL 
    cephfs_metadata      7     5.1 GiB       1.55M     5.7 GiB      0.15       780 GiB 
    cephfs_erdata        8     2.5 PiB     687.98M     5.2 PiB     84.29       500 TiB

注意，池MAX AVAIL的POOLS部分中的cephfs_erdata列只剩下500TiB，而RAW STORAGE hdd CLASS中的AVAIL列有3.7PiB可用。

那是什么意思？我能给那个游泳池分配更多的空间吗？为什么Ceph本身没有分配所有可用的空间呢？

Answer 1

我们找出了这个问题的原因。

1. 由于配置错误，我们的CephFS不仅使用ssd驱动器存储元数据，还使用实际数据。当一个OSD耗尽空间时，CephFS就会耗尽空间，而且它不能在上面放置更多的数据。因此，SSD是MAX_AVAIL的瓶颈。
2. 即使是hdd Ceph的负载也不均匀。所以我们不得不运行重重。在此基础上，数据分布均匀，MAX_AVAIL大小接近AVAIL。