iostat显示“dm”设备的不同利用率是什么？

Question

今天早上，我在Proxmox主机上安装了一个M.2驱动器，并使用iostat -x 1监视磁盘。为什么iostat显示dm-7的利用率为98%，而M2.LVMPV (nvme0n1p1)仅显示6.8 %？

我想，因为dm-7是主机M.2 LVM片的一个符号链接，所以我在nvme0n1*和dm-7上都会看到同样的利用率。为何不是这样呢？

UPDATE2:我不确定这是不是个问题了。我运行bonnie++来测试M.2的性能，并注意到在bonnie运行期间，iostat中的输出是一致的。也许我最初看到的是与RAM/缓存有关的东西，或者是iostat报告/计时I/O的方式。现在似乎很好。仍然好奇的是，为什么这两个设备会关闭到目前为止，然而，这样留下了这个开放。

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
nvme0n1           0.00     0.00    0.00  348.00     0.00 89088.00   512.00   202.68  488.70    0.00  488.70   2.85  99.20
sda               0.00    60.00    0.00   12.00     0.00   288.00    48.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-0              0.00     0.00    0.00   72.00     0.00   288.00     8.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-2              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-3              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-4              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-6              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-7              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-8              0.00     0.00    0.00   41.00     0.00 83968.00  4096.00    26.30  546.54    0.00  546.54  24.39 100.00

输入输出：

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
nvme0n1           0.00   133.00    0.00  292.00     0.00  6272.00    42.96     0.04    5.95    0.00    5.95   0.15   4.40
nvme0n1p1         0.00   133.00    0.00  240.00     0.00  6272.00    52.27     0.70    5.33    0.00    5.33   0.28   6.80
...
dm-6              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-7              0.00     0.00    0.00  367.00     0.00  6272.00    34.18     1.72    4.70    0.00    4.70   2.67  98.00

dm-7是什么？

[root@myhost ~/bin]
# dir /dev/disk/by-id/ | grep dm-7
...
lrwxrwxrwx 1 root root  10 Sep 17 08:58 dm-name-nvme1-vm--100--disk--0 -> ../../dm-7

nvme1 1-vm-100-disk-0是什么？

[root@myhost ~/bin]
# lvs | grep nvme1
  vm-100-disk-0                          nvme1 -wi-ao---- 20.00g

更新- @Arlion为输出添加请求：

# lvs; pvs; vgs; ls -al /dev/mapper/; mount
  LV                               VG    Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  bonnie_test                      nvme1 -wi-ao---- 210.00g                                                    
  vm-100-disk-0                    nvme1 -wi-ao----  20.00g                                                    
  data                             pve   twi-aotz--   1.34t             1.32   1.03                            
  root                             pve   -wi-ao----  96.00g                                                    
  snap_vm-100-disk-1_b4_first_boot pve   Vri---tz-k  80.00g data                                               
  swap                             pve   -wi-ao----   8.00g                                                    
  vm-100-disk-1                    pve   Vwi-aotz--  80.00g data        21.43      


  PV             VG    Fmt  Attr PSize   PFree 
  /dev/nvme0n1p1 nvme1 lvm2 a--  238.47g  8.47g
  /dev/sda3      pve   lvm2 a--    1.46t 15.82g



  VG    #PV #LV #SN Attr   VSize   VFree 
  nvme1   1   2   0 wz--n- 238.47g  8.47g
  pve     1   5   0 wz--n-   1.46t 15.82g



total 0
drwxr-xr-x  2 root root     240 Sep 17 12:44 .
drwxr-xr-x 21 root root    4360 Sep 17 12:44 ..
crw-------  1 root root 10, 236 Sep 17 08:36 control
lrwxrwxrwx  1 root root       7 Sep 17 13:07 nvme1-bonnie_test -> ../dm-8
lrwxrwxrwx  1 root root       7 Sep 17 08:58 nvme1-vm--100--disk--0 -> ../dm-7
lrwxrwxrwx  1 root root       7 Sep 17 08:36 pve-data -> ../dm-5
lrwxrwxrwx  1 root root       7 Sep 17 08:36 pve-data_tdata -> ../dm-3
lrwxrwxrwx  1 root root       7 Sep 17 08:36 pve-data_tmeta -> ../dm-2
lrwxrwxrwx  1 root root       7 Sep 17 08:36 pve-data-tpool -> ../dm-4
lrwxrwxrwx  1 root root       7 Sep 17 08:36 pve-root -> ../dm-1
lrwxrwxrwx  1 root root       7 Sep 17 08:36 pve-swap -> ../dm-0
lrwxrwxrwx  1 root root       7 Sep 17 08:36 pve-vm--100--disk--1 -> ../dm-6



sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime)
proc on /proc type proc (rw,relatime)
udev on /dev type devtmpfs (rw,nosuid,relatime,size=32811264k,nr_inodes=8202816,mode=755)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000)
tmpfs on /run type tmpfs (rw,nosuid,noexec,relatime,size=6566444k,mode=755)
/dev/mapper/pve-root on / type ext4 (rw,relatime,errors=remount-ro,data=ordered)
securityfs on /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
tmpfs on /run/lock type tmpfs (rw,nosuid,nodev,noexec,relatime,size=5120k)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,mode=755)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/lib/systemd/systemd-cgroups-agent,name=systemd)
pstore on /sys/fs/pstore type pstore (rw,nosuid,nodev,noexec,relatime)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls,net_prio)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/rdma type cgroup (rw,nosuid,nodev,noexec,relatime,rdma)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=27,pgrp=1,timeout=0,minproto=5,maxproto=5,direct,pipe_ino=28136)
debugfs on /sys/kernel/debug type debugfs (rw,relatime)
mqueue on /dev/mqueue type mqueue (rw,relatime)
hugetlbfs on /dev/hugepages type hugetlbfs (rw,relatime,pagesize=2M)
sunrpc on /run/rpc_pipefs type rpc_pipefs (rw,relatime)
configfs on /sys/kernel/config type configfs (rw,relatime)
fusectl on /sys/fs/fuse/connections type fusectl (rw,relatime)
lxcfs on /var/lib/lxcfs type fuse.lxcfs (rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other)
/dev/fuse on /etc/pve type fuse (rw,nosuid,nodev,relatime,user_id=0,group_id=0,default_permissions,allow_other)
tmpfs on /run/user/9418 type tmpfs (rw,nosuid,nodev,relatime,size=6566440k,mode=700,uid=9418,gid=56003)
/dev/mapper/nvme1-bonnie_test on /mnt/bonnie type ext4 (rw,relatime,data=ordered)
binfmt_misc on /proc/sys/fs/binfmt_misc type binfmt_misc (rw,relatime)

Answer 1

 LV                               VG    Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  vm-100-disk-0                    nvme1 -wi-ao----  20.00g                                                                                                  
  vm-100-disk-1                    pve   Vwi-aotz--  80.00g data        21.43  

lrwxrwxrwx  1 root root       7 Sep 17 08:58 nvme1-vm--100--disk--0 -> ../dm-7
lrwxrwxrwx  1 root root       7 Sep 17 08:36 pve-vm--100--disk--1 -> ../dm-6

PV             VG    Fmt  Attr PSize   PFree 
/dev/nvme0n1p1 nvme1 lvm2 a--  238.47g  8.47g
/dev/sda3      pve   lvm2 a--    1.46t 15.82g


  VG    #PV #LV #SN Attr   VSize   VFree 
  nvme1   1   2   0 wz--n- 238.47g  8.47g
  pve     1   5   0 wz--n-   1.46t 15.82g

您的管理程序从两个不同的资源池中提供两个不同的磁盘。dm-7来自完全分配的驱动器，/dev/nvme0n1p1和dm-6来自几乎没有分配的驱动器pve。

执行bonnie++时，您只需要测试nvme1驱动器集。

我会做iotop并安装网数据，看看是否有什么异常导致磁盘100%的利用率。这可能是简单的事情，因为磁盘仅仅是100%的利用，不能执行更多的io。或者这背后还有另一个问题。