在HPC SSD环境中，ZFS RAIDz1 1/2的开销是多少？

Question

示例硬件/主机：

• 现代64核心CPU，128 64内存
• 8辆微米Pro 15.36TB u.2 SSD
• 每个设备通过专用Oculink连接的SSD(没有背板或PCIe共享)
• Ubuntu 20.04

用例：

• 一个可供数百个主机使用的备份服务器。备份是通过增量rsync执行的，首先是来自远程主机的rsync，然后是本地副本(使用cp)来创建快照。--数以百万计的小文件(电子邮件、html文件等)是典型的备份。
• 在任何时候，服务器都可以处理50个传入的rsyncs (cpu、轻加密、algo和不压缩)。
• 冗余虽然是有利的，但不是必需的。在最单一的驱动器故障。
• 文件轮转所需的极端本地i/o
• 使用rsync和硬链接差异复制(“r快照”)不能更改，这是部署的备份软件所需要的，并且已经在生产中-因此BTRFS快照是不可能的。

我想出了两种可能的解决办法：

1. 粉碎我的数据存储，没有冗余。在BTRRFS和安装与内联LZO压缩的每个驱动器的基本格式。

• 优点:简单轻巧，无需raid管理开销。
• 优点:孤立故障，在磁盘故障时，只有一小部分备份丢失，这些备份很快就会重新建立起来。
• 优势:获得最大总容量
• 缺点:容量管理的复杂性--没有一个大容量意味着从战略上平衡特定磁盘上的数据以最大限度地利用它们。
• 缺点:磁盘故障确实会丢失数据

1. ZFS RAIDz1 1/2在一个大容量内跨越所有磁盘

• 优点:1或2个磁盘故障冗余
• 优点:管理简单，每样东西都有一个巨大的体积--足够大的空间。
• 缺点:丢失1或2个磁盘的容量

问题:是否会有显著的ZFS RAID管理开销，这将降低数组的性能和选项1？-在his在每个级别设计以最大限度地提高OS和SSD之间磁盘吞吐量的配置中，在每秒10秒的Gigabits中，ZFS RAID管理的开销会不会导致性能和/或过载CPU或内存的显著下降？

谢谢。

Answer 1

使用ZFS。使用LZ4压缩。适当地调优您的ZFS，因为对于许多NVMe驱动器来说，缺省值并不理想。

使用实际工作负载进行测试和基准测试。我们不能告诉你它的表现。

RAIDZ开销与此无关。

CPU的微基准自动为您的给定平台选择最快的。

请参阅ZFS模块参数：

Answer 2

由于BTRFS RAID5不被认为是100%稳定的，我不建议它即使是一台备份机。此外，对于这些大型SSD，我将使用RAID6而不是RAID5。

因此，我建议在XFS中使用MD RAID6，或者，作为Ubuntu机器，使用lz4压缩的ZFS RAIDZ2。

编辑:我只是不考虑使用单驱动器BTRFS文件系统作为有效的备份方法。在此配置中，任何单个驱动器故障都将导致(部分)数据丢失。我强烈建议您将RAIDZ2与LZ4压缩一起使用，或者，为了获得最大的性能，使用XFS使用MD RAID6 (但会丢失压缩和校验求和)。