ubuntu kvm磁盘io在某些类型之后放缓

Question

东道系统：

Ubuntu Server x64 12.04 
mdadm raid 1 (/dev/sda /dev/sdb)
no lvm
dd bs=1M count=256 if=/dev/zero of=filename conv=fdatasync
avarage ~ 40 MB/s

NCQ on disks is disabled
WriteCache is disables

客人系统：

Ubuntu server i386 12.04
with lvm2 /10Gb /200Gb /200Gb disks all on lv-root (LV)
  --- Physical volume ---
  PV Name               /dev/vda5
  VG Name               root-vg
  PV Size               9.76 GiB / not usable 2.00 MiB
  Allocatable           yes (but full)
  PE Size               4.00 MiB
  Total PE              2498
  Free PE               0
  Allocated PE          2498

  --- Physical volume ---
  PV Name               /dev/vdb
  VG Name               root-vg
  PV Size               195.31 GiB / not usable 4.00 MiB
  Allocatable           yes (but full)
  PE Size               4.00 MiB
  Total PE              49999
  Free PE               0
  Allocated PE          49999

  --- Physical volume ---
  PV Name               /dev/vdc
  VG Name               root-vg
  PV Size               195.31 GiB / not usable 4.00 MiB
  Allocatable           yes (but full)
  PE Size               4.00 MiB
  Total PE              49999
  Free PE               0
  Allocated PE          49999

 dd bs=1M count=256 if=/dev/zero of=filename conv=fdatasync
    avarage ~ 30 MB/s
all disks in guest are RAWformat /VirtioBUS / No cache / IOmode=native

一段时间后，写入速度降至1MB/S，但主机系统没有加载，dd测试显示相同的30-40MB/S，cpu使用率为10%。客人重启会有一段时间的帮助。没有错误/错误/没有mdadm重建或重新同步。

不知道哪里有问题，也不知道在哪里挖。

看起来这对来宾很有帮助: sync && echo 3>/proc/sys/vm/drop_cache

相似问题在64 dd mem的系统上，Linux缓冲区在使用dd复制到dev空和io时完全运行，直到手动删除。_缓存器

Answer 1

我认为，30-40 MB/s的初始性能是因为linux内核的缓存(以及可能在硬件级别上进行的任何其他缓存)。一旦缓存被“用完”，实际的磁盘访问就开始启动，性能下降。

此外，为了使dd具有更好的性能，将bs=参数设置为相当大的大小。就我个人而言，我喜欢把它设置为大约1/3-1/2的可用内存。您设置的1M是次优的，是低性能数字的主要原因。但是，即使有了最优的bs=设置，您也会看到性能在某个时候下降，正如上面所解释的那样。