大型存储服务器的RAID级别和文件系统

Question

这个问题已经被问了一百万次了，但是每次答案都取决于“这取决于你的要求”，所以我无法得出适用于我的情况的一般指导方针。所以我再问一遍。

我有一个24 bays磁盘服务器(双XeonSilver4210R和128个内存和CentOS 7)和16个TB磁盘来存储科学数据，这些磁盘组织在大文件中(大小~ GB)，通常只编写一次，然后多次处理(这个处理的输出对于接下来的内容无关紧要)。数据是关键任务，但在某种程度上可以从其他存储站点恢复，因此数据丢失的故障是一个大问题，但可能不是杀手。可用磁盘空间应在以前的约束范围内最大。总之，按照重要性降低的顺序，我的制约因素是：

1. 数据完整性
2. 读性能
3. 可用磁盘空间

我的初步解决方案是使用硬件RAID 60级别，每个RAID 6阵列由12个磁盘组成，以及ZFS文件系统。在我的理解中，RAID 60应该提供比RAID 6更可靠和更好的读取性能解决方案，并且在可用空间方面有合理的损失，而ZFS是容错文件系统的一个好选择。我不知道这种配置的可能缺点(例如数组重建时间)？一个不同的文件系统？)也不知道可能有更好的选择，所以我想听听一些有根据的意见。

谢谢您的建议。

Answer 1

ZFS不喜欢出现在硬件RAID之上。您可能只是在原始磁盘上使用ZFS，并在raidz2或raid60模式下对其进行配置。此外，也许附近有一个替代驱动器，或者甚至在机架上留下一个热备用(S)是很好的。

参见此处的性能基准：https://calomel.org/zfs_raid_速度_capacity.html

Answer 2

对于这么大的设置(384 TB的原始空间)，我强烈建议使用ZFS，因为它的数据完整性(和修复)保证太有价值，不容忽视。

如果对于“读取性能”，您的意思是顺序读取速度，我将使用配置了2x12宽的vdevs的ZFS RAIDZ2数组。此外，大型recordsize和lz4压缩应该是两个很好的选择。如果沿着这条路线走下去，请记住，在使用ZFS时，通常最好避免硬件RAID。

如果您需要高的随机读取性能(根据您的描述不太可能)，您需要使用更小的ZFS RAIDZ2 vdevs，甚至镜像(如果损失50%的空闲空间是可以容忍的)。

非ZFS的替代方案是使用基于硬件的RAID60数组(至少具有2+ GB的功率丢失保护的写回缓存)和一个经典的非原始文件系统(即: XFS)。在这种情况下，您可以使用伊文辛作为卷管理器和快照层。尽管如此，如果可以的话，请使用ZFS。

Answer 3

另一个建议是将操作系统与数据磁盘分离。

该超级微型底盘有两个额外的插槽为2.5“的SATA磁盘。这些应该是RAID1，并包含操作系统和任何交换。前面的24个磁盘应该只是数据在任何RAID阵列或ZFS设置您选择。