新的RAID hdparm慢

Question

我刚得到一个惠普DL180 G6，它有25X146GB15KSAS驱动器，36 G6内存，2X2.0GHzXeon1333MHzFSB。为了好玩，我在一个RAID 0中配置了它们，并在上面安装了Ubuntu，看看它在HP智能阵列P410控制器w/ 512 HP上的25个驱动器能达到多快。

当我运行hdparm -tT /dev/mapper/concorde root时，我得到

Timing cached reads:   5658MB in  1.99 seconds = 2834.13 MB/sec
Timing buffered disk reads: 1192 MB in  3.00 seconds = 397.13 MB/sec

当我在我的另一台服务器上运行相同的命令(HP DL360 G5 -32 get 2X 2.66GHz 667MHzFSB)时，我得到的驱动器只有4X15K：

Timing cached reads:   13268 MB in  1.99 seconds = 6665.18 MB/sec
Timing buffered disk reads: 712 MB in  3.00 seconds = 237.17 MB/sec

我原以为这个比旧的快5倍，而不是慢。服务器的目的是提供流媒体，所以我需要超快的访问和传输，以跟上21GB的网络端口，我希望在执行其他任务的同时，有时也能达到最大。

我只是把一个400 96的MP4文件的拷贝放在一起，以便将45 96的文件从一个目录复制到另一个目录，这花费了96秒的时间，这对我听说过的RAID 0性能提升的所有东西来说都是错误的。

它是作为硬件raid设置的，我需要在Linux中做些什么来利用应该存在的额外速度吗？我使用哪种版本的Linux有关系吗？我对CentOS和Ubuntu很满意，但如果需要的话可以做其他的事情。

我是否应该使用不同的命令来衡量性能？昨天我试着用iotop和iostat来监视RAID的使用情况，但是在通过FTP复制2GB文件时，无法让它报告任何使用情况，所以我不得不尝试设置一个基准，比较它在服务器上的性能，并监视它，这样我就可以知道硬盘何时出现故障，需要用SSD替换。

Answer 1

哇..。这里有很多要解决的问题。

• 磁盘性能不仅仅与吞吐量有关。还有IOPS、延迟和服务时间的概念。大多数工作负载本质上都是随机的，因此从IOPS的角度来看，阵列中的25个企业磁盘总是超过4个磁盘。
• hdparm不是测试企业存储的合适工具。查看目标构建的程序，如iozone和fio。

一个可能对您有帮助的示例iozone命令是(从您希望测试的磁盘阵列上的一个大目录运行)：iozone -t1 -i0 -i1 -i2 -r1m -s72g

• 此服务器的设计意味着您的磁盘背板被超额订阅。服务器上有一个扩展芯片，这25个磁盘共享到RAID控制器的4通道6 6Gbps连接。这意味着您对数组的理论最大吞吐量为24 24Gbps (或3,000 to /秒)。这是一个上限，你看不出超过这个点的表现。
• 当涉及到硬件驱动程序和支持时，Ubuntu几乎不是最好的选择，它没有得到服务器的正式支持。CentOS或RHEL更适合这种硬件。
• HP智能阵列控制器能够将一组磁盘(阵列)刻入多个不同容量和RAID级别的逻辑驱动器中。下面的示例显示了一个4磁盘阵列，该数组被刻划成三个逻辑驱动器.其中一个逻辑驱动器配置为与其他驱动器不同的RAID级别。

插槽0(嵌入式) (sn: 0014380296200A0)逻辑驱动器1(72.0GB，RAID 1+0，OK)逻辑驱动器2 (1024.0 GB，RAID 1+0，OK)逻辑驱动器3 (869.1 GB，RAID 5，OK)物理驱动器1I:2:1 (端口1I:方框2:bay 1，SAS，900.1 GB，OK)物理驱动器1I:2:2 (端口1i:框2，SAS，900.1 GB，OK)物理驱动器1I:2:3 (端口1i:框2:3:BA3，SAS)900.1 GB，OK)物理驱动器1I:2:4 (端口1i:方框2:bay 4，SAS，900.1 GB，OK)

• 在这里，您绝对不应该使用RAID 0作为逻辑驱动器。如果您能够节省空间，RAID 1+0将很好地执行此硬件组合。
• 你已经准备好了。当使用这些HP智能阵列RAID控制器时，这不是最好的方法。这是一个额外的抽象层，您不会看到最好的性能(尽管它可以很好地调优)。
• 固件。您需要更新服务器和相关组件的固件。功能改进与每个惠普RAID控制器固件修订。
• RAID缓存配置。确保RAID电池正常，并确保缓存读写平衡对您的工作负载是正确的。
• 文件系统选择。XFS是流媒体的一个很好的选择。但你想要的利率相对较低。任何现代Linux文件系统都应该是可以的。

Answer 2

有一件事马上就跳出来了，那就是新服务器上的低缓存吞吐量，这表明您有一个内存瓶颈。你提到它有36 GB的内存，这是一个奇数。我敢打赌，你没能在两对(或者3x，如果这个cpu/板是能够三重交织，我怀疑它是)，因此，公羊没有正确地交织。您可以运行memtest86+以获得内存吞吐量的良好测量结果。

至于实际的IO吞吐量，对于这么大的数组，您可能没有向其抛出足够的请求。hdparm一次只读取2 MiB，所以如果数组使用512 k条因子，那么每次只会有4个驱动器处于忙碌状态。对于其他命令，如dd，它取决于readahead大小，默认的readahead大小仅为128 kb。尝试使用dd而不是hdparm (不使用iflag=direct )，并在/sys/block/dm/queue/read_ instead _kb中增加readahead因子，以确保内核发送足够大的请求来保持所有驱动器的忙碌，或者如果您确实在dd中使用iflag=direct，那么确保使用bs=非常大的值，比如32MiB，然后内核readahead设置就无关紧要了。