什么是最佳的分区格式和raid设置数百万个小文件？

Question

如果我有数以百万计的小文件由文件夹分发，什么是最好的分区格式和怎样的raid设置，以便尽可能快地管理它们？例如在所有文件中搜索，查找大于x的文件，等等。

在这种情况下，为了性能而在raid中分发4-5个SSD会有帮助吗？

考虑到大多数文件都在1MB以下，在这种情况下是否有某种分区格式可以执行得更快？

编辑:数据将被多次读取以进行查询，所以读取的次数至少是写入的两倍。数据不是关键的，速度比数据保护更重要。

Answer 1

通常，对于RAID，获得N(设备数量)* I(iops)用于读取，并根据RAID级别为写入进行一些划分。(n*i)镜子的/2，raid5的/4，raid6的/6等等。

对于非关键数据，这些数据可能会在设备故障时丢失，或者从头开始重新创建，或者只是创建新的数据，RAID0将是写操作最快的数据。这是一个跨多个设备的简单条带，并且不会发生奇偶校验读或写来使用写Iop。在RAID0中，读写性能都应该是N*I (您的CPU和所选择的文件系统的缓存方法可能会对数字产生一定的影响，但通常情况下，您应该非常接近这一点。

根据可用驱动器的数量和所需的容量，使用RAID10将保持N_I的读取性能，而写入性能将是(N_I)/2，因为您必须向镜像的两边发出写操作。

使用EXT4将4-5个SSD配置为一个条带，它将为您(我认为)提供性能和简单性的最佳交集，从而牺牲数据保护。

RAID10将使您的容量和写入性能减半，保持您的读取性能(您仍然可以从所有驱动器读取)，并为您提供良好的数据完整性。

对于划痕数据，我将在单个分区上使用EXT4和RAID0，并根据需要使用多个文件夹。