如何配置RAID 5，特别是条形大小，为CentOS 6配置24×1.2TB驱动器？

Question

对于具有24x1.2Tb磁盘(和1TBRAM)的戴尔R 920，我希望为快速IO设置RAID 5配置。该服务器将用于托管KVM VM，这些VM将读取/写入各种大小的文件，包括非常大的文件。我对数据安全并不十分感兴趣，因为如果服务器因任何原因而失败，我们将在更换故障部件后重新提供服务器。因此，性能是主要关注的问题。我们正在考虑RAID 5，因为它允许我们在多个纺锤体上分发数据，从而给我们提供了更好的性能，虽然不是我们关心的主要问题，但也为我们提供了一些数据保护。我们的网卡是双10 10Gbps。

我把这个问题限制在RAID 5上，只是因为我们认为这会提供最好的性能。只有当有一个令人信服的性能原因时，我们才会考虑其他的事情。但是，我想我更喜欢与RAID 5配置相关的答案。

好的，有了以上所述，下面是我们当前的配置思路：

• 24个硬盘：RMCP3：1.2TB，10K，2.5“6 6Gbps
• RAID控制器: H730P，12 12Gbps支持，2GB NV缓存
• 热备用(只是为了给我们一些更长的寿命，如果一个驱动器确实失败)
• 23个数据驱动器(其中1个为奇偶校验，22个为数据)
• 条纹大小: 1MB (1MB/22数据驱动器= ~46.5KB每个磁盘--或者，我是否误解了条带大小)？
• 阅读策略:自适应提前阅读
• 写策略:写回
• 磁盘缓存策略:已启用

如果条形大小是整个数据驱动器的总和，那么我估计每个驱动器大约46.5KB将给我们很好的吞吐量。如果条形尺寸是每个主轴，那我就错了。

条纹大小是否也是单个文件的大小？例如，如果有一个2KB的文件，选择1MB的条纹大小是否意味着我们正在浪费几乎整个兆字节？或者多个文件可以存在于一个条内吗？

最后，当我们安装CentOS 6.5 (或最新版本)时，我们是否需要做一些特殊的事情来确保文件系统最优地使用RAID？例如，mkfs.ext4有一个选项-E that，我被告知应该与RAID配置相对应。但是，在CentOS安装过程中，有没有办法做到这一点呢？

非常感谢您对为快速IO配置RAID 5的想法。

Answer 1

请使用RAID 1+0与您的控制器和驱动器设置。如果你需要更多的容量，一个嵌套RAID级别，如RAID 50/60工工作。您可以在少量的企业SAS磁盘(8个或更少的驱动器)上使用RAID 5，因为重建时间并不坏。然而，24驱动器是一个可怕的错误。(哦，禁用单独的磁盘缓存功能.危险)

I/O和本地存储性能有很多方面。有I/O操作/秒，有吞吐量，有存储延迟。RAID 1+0是两者之间的一个很好的平衡。这里的积极方面是，您正在使用企业磁盘、一个功能强大的硬件控制器和大量磁盘。你需要多少容量？

您可能会遇到虚拟磁盘组中可以使用的驱动器数量的限制。传统上，PERC/LSI控制器将单个RAID级别和RAID 1+0的驱动器限制在16个。用户指南确认了这一点。您将无法使用单个RAID 5或单个RAID 1+0组中的所有24个磁盘。

根据工作负载的不同，还需要考虑的另一个方面是，您可以在某些PERC控制器上使用LSI蛋糕功能来利用SSD缓存。它可能不适用于此，但了解I/O模式将有助于定制存储解决方案。

至于ext4文件系统创建选项，大部分将由硬件RAID控制器抽象。您应该能够在这里创建一个没有任何特殊选项的文件系统。您所指的参数将对软件RAID解决方案产生更大的影响。

Answer 2

不要在24个1TB磁盘上使用单个RAID 5阵列！我不在乎你喜欢把答案限制在什么范围内，这是个坏主意，你应该考虑其他选择。

磁盘失败的几率随每个磁盘的增加而增加。重建所需的时间也是如此。当一个驱动器发生故障，并且您替换它时，它将在所有磁盘上使用尽可能多的IO来构建新磁盘的数据。在此过程中，您剩下的23个好磁盘中很可能有一个会失败，迫使您从备份中恢复服务器。你说你不在乎about...but，你愿意接受每个月做一次吗？一周一次？随着磁盘的老化，它很可能会变坏。

此外，如果你想要表现，RAID5正把你引向错误的方向。在许多情况下，RAID5的性能比其他选项差，因为它必须计算每一次写入的奇偶校验，然后将其写入驱动器。RAID5不是为性能而设计的。

如果您真的不关心您的数据，请使用RAID 0。但即便如此，也要创建几个单独的数组，而不是一个巨大的24磁盘RAID 0。

如果您想要性能和一些完整性，请使用RAID10。您将失去一些磁盘空间，但是性能会得到很大的提高。

或者，您可以查看像ZFS这样的东西，它们是从底层设计来处理磁盘上的大量数据的。

Answer 3

你的选择：

• RAID 0:这会把你所有的磁盘变成一个没有冗余的单元。这具有最高的读写性能和任何选项中最可用的空间，但是单个磁盘的丢失意味着所有数据的丢失。
• RAID 1+0:这会将所有磁盘转换为一个单元，其中包含两个磁盘上的所有数据。读取速度与RAID 0大致相同，写入速度减半(因为您需要两次写入每个数据)，而且您只有一半的可用空间。单个磁盘的丢失对数据可用性没有影响，对读/写速度的影响最小。
• RAID 5:这会把你所有的磁盘变成一个单一的单位，在一个磁盘上有一个奇偶校验值。读取速度略低于RAID 0，写入速度要慢得多，可能比单个非RAID磁盘的写入速度慢(每次写入至少需要两个磁盘上的读-修改-写入周期)，您将失去一个磁盘的奇偶信息空间。单个磁盘的丢失可能导致读取速度的大幅度降低(重构存储在其中的数据需要从所有其他磁盘读取数据)，但对数据可用性没有影响。
• RAID 6:这基本上有RAID 5的所有优点和缺点，除了除了奇偶计算之外，它还存储一个更好的校验和，并且可以处理两个磁盘的丢失而不丢失数据。

如果数据安全确实无关紧要(这包括从原始源恢复数据所花费的时间，这可能需要几天时间，并且丢失时间，重新执行中断的计算)，我建议RAID 0。否则，如果您的工作负载几乎完全是读取的，并且需要一些可靠性，我建议使用RAID 6(但请注意，在从故障磁盘中恢复时，性能将受到影响)。如果您有读写工作负载，我建议使用RAID 1+0。

取决于你的工作量的确切性质。如果给定的任务访问您磁盘空间的一个定义良好的子集)，您可能能够设置多个独立的RAID数组，以便其中一个的失败不会影响其他的RAID阵列。

RAID 5在您的情况下不提供任何好处。与RAID 0相比，它有性能上的损失(特别是对于写入)，并且随着磁盘数量的增加，几乎可以肯定的是，在恢复过程中，第二个磁盘将失败，不会给数据安全带来任何好处。