为什么Megaraid和Megaraid 1+0 = Raid 10会减慢实际读取速度？

Question

一个raid卡导致多位ecc内存模块故障，这就是为什么我要将60 to的数据从一个服务器转移到另一个服务器.

获得60-100Mb/S读取速度为3兆raid5 raid1 S x 10 to磁盘，并在使用mdadm将其与tar pigz连接到另一个网络raid5文件夹或同一服务器时使用raid 0对磁盘进行跨越。我很少在一小时内打败100毫巴/S几秒钟(高达250毫巴/S)。

然而，当我复制一个巨大的文件，8GB，它拷贝10G以太网987 GB/s。同时，hdparm -tT /dev/md0p1提供1.5GB/S。

磁盘和raid阵列的集群大小所有4096k %75的文件都>30 GB，还有GB文件，我如何才能可靠和快速地tar.gz .这台机器有什么毛病？

其中一张raid卡导致了多位ecc内存模块故障，所以它可能是速度缓慢的罪魁祸首，或者是因为磁盘是机械的，但是要记住文件分发是这样的：

Bytes           Number of Files:        
            0  14
            16  24
            32  21
            64 603
           128 207
           256 1677
           512 2361
          1024  45
          2048  90
          4096 112
          8192 358
         16384 315
         32768 235
         65536 309
        131072 296
        262144 2275
        524288 1148
       1048576 2187
       2097152 3204
       4194304 2708
       8388608 2148
      16777216 703
      33554432 1585
      67108864 906
     134217728 259
     268435456  71
     536870912  42
    1073741824  33
    2147483648  38
    4294967296  16

下面是一些人类可读的版本：https://docs.google.com/spreadsheets/d/15J3LsU5G_km70mW0yE6ehiK4oHZmOLuUxRpBCM25-r0/edit?usp=sharing

在我更改错误的raid卡之前，有什么实用的方法来复制所有数据吗？

Answer 1

我发现，特别接近raid集群大小的小文件，使用机械磁盘复制是一个地狱，它可以走下去.复制小文件时少于250 sec/秒。

两个解决方案是启用raid卡缓存，它是512 is，当它有机会的时候，大量的流小文件.更好的是，我们可以使用linux中的bcache使用nvme或sata磁盘作为缓存，当将文件大小512 MB的文件复制到1MB时，它将导致256 MB/秒到1GB/秒的速度。Bcache可以使用sysfs进行调整。当您将其设置为1MB小于1MB的文件时，会有一个sequantial_cutoff参数，转到sata或nvme缓存，而其他文件则正常写入。默认的sequantial_cutoff是4MB。

事实证明，我们已经取消了服务器案例的球迷，因为难以置信的噪音。忘了重新插入加热的raid卡，使其产生单位ECC错误。好了！特别是另外两张raid卡中间的卡出现了错误。我想是因为他们有被动式冷却，中间的是最热的。然而，缓慢的复制速度与此无关。

最后的答案是:当复制接近集群大小的文件或小于集群大小的文件时，机械磁盘raid设置非常慢的速度没有什么问题。

Answer 2

您甚至没有提到FS，也没有为RAID布局进行调优。有可能是的。其次，小文件很可能分散在磁盘上，而大型文件的区域通常是连续的，这并不奇怪。旋转存储在这种状态下是很困难的。