安排一个raidz3 ZFS vdev来容忍整个JBOD失败？

Question

比如说，我要构建一个非常大的1PB游泳池。我将有一个头部单位与HBA在其中(可能4端口LSI SAS卡)，我将有7个45驱动JBOD连接到头单元。

使用raidz3的基本方法是创建21个不同的15驱动器raidz3 vdevs (为每个JBOD创建3个15驱动vdevs )，并从所有21个raidz3 vdevs中创建一个池。

这会很好的。

这里的问题是，如果您由于任何原因丢失了一个vdev，那么您就会失去整个池。这意味着你绝对不能失去一个完整的JBOD，因为那是3个歌唱家的损失。但是，在邮件列表线程中，有人隐晦地提到了一种组织磁盘的方法，以便您确实会丢失整个JBOD。他们说：

“使用戴尔R720主管部门，加上一堆戴尔MD1200 JBOD双路连接到两个LSI交换机.我们进行了三重校验，并且我们的vdev成员设置使我们可以丢失多达三个JBOD，并且仍然能够正常工作(每个JBOD有一个vdev成员磁盘)。”

..。我不太清楚他们在说什么。我认为他们的意思是，与其在一个HBA上拥有一个vdev be (所有磁盘都是连续的15 (或12 )磁盘，或者任何其他磁盘)，实际上还可以将vdev的奇偶驱动器拆分成其他jbod，这样您可能会丢失任何jbod，并且在其他地方还有N-3驱动器来覆盖这个vdev.

或者别的什么..。

两个问题：

1. 有谁知道这个食谱是什么样子的吗？
2. 它是否足够复杂，以至于您确实需要一个SAS开关，而我不能仅仅用复杂的HBA<->JBD电缆来设置它呢？

谢谢。

Answer 1

您在邮件列表中看到的JBOD弹性的解释可能类似于一组RAIDZ3 vdevs和附件.假设每个RAIDZ3 (5+3)有8个磁盘，以及5个(或8个？)外壳，使歌舞者从每一个外壳中得到一个单独的磁盘。

但是对于雷兹来说，如果没有某种程度的高可用性，我就不会做1PB的存储。

以下是一个适当的HA集群的两个参考设计，每个头节点都有双HBA，以及冗余的级联SAS布线。如果我是在设计它，我会计划使用ZFS镜像部署，而不是RAIDZ(1/2/3)。

我发现RAIDZ数组在大多数生产环境中都是一个交易破坏者：缺乏可扩充性、不良性能、复杂规划和更多的困难故障恢复。

我将使用ZFS镜像和尽可能大的外壳(例如60盘或70盘单元)、SAS磁盘和避免超小型设备；

除此之外，优质JBOD装置具有很强的弹性，因为它们有内部冗余、双路径背板和中平面程序集，这些组件通常不会失败。大多数组件都是热交换的.我不那么关心围护，而更多地关心电缆，控制器和池设计。

如果必须使用RAIDZ(1/2/3)，根据需要进行配置，并在每个JBOD中保留备用磁盘。将它们配置为全局备件。

双节点：

单节点：