嵌套虚拟化与KVM：-启用-kvm在qemu中嵌套虚拟化

Question

在我已经虚拟化的主机中，试图传递选项-enable-kvm -m 1024的选项将失败：

qemu-system-x86_64  -vga std -enable-kvm -m 1024   -monitor telnet:localhost:9313,server,nowait -drive file=my_img.img,cache=none
# Could not access KVM kernel module: No such file or directory
# failed to initialize KVM: No such file or directory

如果删除该选项-enable-kvm -m 1024，qemu将加载(但它将花费很长时间，因为它使用的是软件仿真)：

qemu-system-x86_64  -vga std  -monitor telnet:localhost:9313,server,nowait -drive file=my_img.img,cache=none
# qemu running, OK, but image taking forever to load.

当然，我的这个虚拟化主机具有嵌套自己的虚拟化的能力。我在任何地方都可以找到有关它的信息(比如这里：https://docs.openstack.org/developer/devstack/guides/devstack-with-nested-kvm.html )，它告诉我必须检查文件/sys/module/kvm_intel/parameters/nested，它根本不可用，因为kvm-intel没有也不能从图像中加载：

sudo modprobe  kvm-intel
# modprobe: ERROR: could not insert 'kvm_intel': Operation not supported

可能这种调试嵌套虚拟化的方法只在裸金属中起作用。因此，如何从kvm？内部启用(转发)kvm的支持？

更多信息：

lscpu # from inside the virtualized host
# Architecture:          x86_64
# ...
# Vendor ID:             GenuineIntel
# CPU family:            6
# Model:                 13
# Model name:            QEMU Virtual CPU version (cpu64-rhel6)
# Stepping:              3 
# ...
# Hypervisor vendor:     KVM

qemu的ltrace：

# open64("/dev/kvm", 524290, 00)                   = -1
# __errno_location()                               = 0x7f958673c730
# __fprintf_chk(0x7f957fd81060, 1, 0x7f9586474ce0, 0Could not access KVM kernel module: No such file or directory

Answer 1

要测试当前主机中是否启用了kvm支持(即，它在虚拟机中工作)，请执行以下操作：

grep -E "(vmx|svm)" /proc/cpuinfo 
flags       : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm constant_tsc rep_good nopl nonstop_tsc extd_apicid aperfmperf pni pclmulqdq monitor ssse3 fma cx16 sse4_1 sse4_2 popcnt aes xsave avx f16c lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs xop skinit wdt lwp fma4 tce tbm topoext perfctr_core perfctr_nb arat cpb hw_pstate npt lbrv svm_lock nrip_save tsc_scale vmcb_clean flushbyasid decodeassists pausefilter pfthreshold vmmcall bmi1

在问题中：

grep -E "(vmx|svm)" /proc/cpuinfo | wc -l 
0

这意味着支持是禁用的，并且enable-kvm不能工作。需要在裸金属机上进行操作。

Answer 2

默认情况下，Linux禁用了嵌套虚拟化支持。

您必须对最外层的VM进行在主机中启用它 (在您的问题中，您试图在最外层的VM中这样做)。例如，对于Intel CPU：

# rmmod kvm_intel
# modprobe kvm_intel nested=1

验证(在最外层VM的主机上)：

$ cat /sys/module/kvm_intel/parameters/nested
Y

(用于AMD的KVM模块被称为kvm_amd，这不足为奇。)

通过将配置文件删除到/etc/modprobe.d中，可以持久地启用嵌套。

这是嵌套虚拟化的必要条件。此外，还需要在最外层的VM中提供正确的告诉QEMU启用虚拟化支持参数，例如：

-cpu host

或者更具体的东西，比如：

-cpu Haswell-noTSX-IBRS,vmx=on

在最外层的VM中，您可以通过以下方法验证虚拟化支持：

$ grep -o 'vmx\|svm' /proc/cpuinfo
$ kvm-ok
INFO: /dev/kvm exists
KVM acceleration can be used