在具有VMWare接口的VMXNET3上运行DPDK时出现的“不兼容硬件版本”错误

Question

我们试图在运行CentOS7.5的客户机器上运行DPDK示例应用程序。主机是ESXi版本6.5。

我正在客服机上建立dpdk，我正试着运行它。我试过DPDK的18.05和18.08版本。

我们在esxi上创建了五个接口，以连接到我们的客人。一个管理端口和四个数据端口。我们将这四个数据端口绑定到DPDK。这些端口都是VMXNET3接口。它们基本上就像[https://doc.dpdk.org/guides/nics/vmxnet3.html]中的[https://doc.dpdk.org/guides/nics/vmxnet3.html]接口一样，使用vswitch连接到物理接口。但是，请注意，如本文档所示，我们没有任何VF接口，只有VMXNET3接口。不幸的是，此文档没有显示有关如何进行设置的任何详细信息。

vmware的这文档也显示了非常类似的设置。但同样没有关于如何设置的详细信息。

从根本上说，我们遇到的障碍是VMXNET3接口在启动DPDK示例应用程序时失败了初始化。以下是我们所看到的：

[root@rg-vm ~]# ./dpdk-18.08/examples/packet_ordering/build/packet_ordering -c 0x0e0 -- -p 0xf
EAL: Detected 24 lcore(s)
EAL: Detected 1 NUMA nodes
EAL: Multi-process socket /var/run/dpdk/rte/mp_socket
EAL: Probing VFIO support...
EAL: PCI device 0000:04:00.0 on NUMA socket -1
EAL:   Invalid NUMA socket, default to 0
EAL:   probe driver: 15ad:7b0 net_vmxnet3
eth_vmxnet3_dev_init(): Incompatible hardware version: 0
EAL: Requested device 0000:04:00.0 cannot be used

我们在试图绑定到DPDK的所有四个接口上都看到了这一点。然而，奇怪的是，有时在重新启动之后，前两个接口将正确初始化。但是在第一次尝试之后，所有四个接口都以同样的方式失败了。

下面是我们用来设置DPDK的命令。

modprobe uio
insmod ./dpdk-18.08/build/build/kernel/linux/igb_uio/igb_uio.ko
./dpdk-18.08/usertools/dpdk-devbind.py --bind=igb_uio 04:00.0
./dpdk-18.08/usertools/dpdk-devbind.py --bind=igb_uio 0c:00.0
./dpdk-18.08/usertools/dpdk-devbind.py --bind=igb_uio 13:00.0
./dpdk-18.08/usertools/dpdk-devbind.py --bind=igb_uio 1b:00.0

请注意，我们也尝试使用具有相同结果的uio_pci_generic。我们无法让vfio驱动程序绑定到VMXNET3接口。

我不确定这有什么关系，但是我们连接的vswitch的另一端的物理接口是: 17:00.0以太网控制器:英特尔公司的I350千兆光纤网络连接(rev 01)

我们还尝试使用基于英特尔82576芯片组的以太网卡(这是其文档中使用的芯片组DPDK显示)，以及基于英特尔X710的以太网卡。我们在使用这两种卡时都看到了与i350相同的错误。所以我认为这消除了以太网硬件，这是有意义的，因为使用我们和以太网控制器之间的vswitch应该会使我们不知道它实际上是什么。

我们运行的是戴尔的R540。还请注意，当我们在这个没有VMWare的硬件上使用DPDK运行CentOS7.5时，一切正常。另外，如果我们在VMWare中运行，但是“通过”到VM的i350接口(而不是使用vswitch和vmxnet)在这种情况下一切都正常。

我尝试将内核(3.10)更新为最新版本(4.18)，但仍然得到相同的错误。

如果我尝试使用ethtool读取vmxnet3 pci条寄存器中的版本寄存器(VRRS) (导致此错误)(在绑定到DPDK之前)，它看起来很好(0xf)。我在谷歌上搜索了很多，但似乎找不到多少帮助。这是很有可能的问题，我是如何设置，但我找不到任何信息，给出细节，如何做它。

任何帮助都将不胜感激。谢谢!

Answer 1

尝试以下步骤：

1. cd /etc/default
2. vi grub
3. 编辑并添加“nopku” GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet nopku transparent_hugepage=never log_buf_len=8M"
4. 重新编译grub：sudo grub2-mkconfig -o /boot/grub2/grub.cfg
5. 重新启动VM并尝试DPDK。