活动/活动配置中的ESXi VMKernel端口有什么问题？

Question

我有以下简化的配置：

本质上，我有一个带有两个物理网络适配器的ESXi主机。每个适配器插入到不同的开关。每个交换机通过一个主干端口连接。PC机连接到其中一个开关上。具有vSwitch端口和VM端口的VMKernel配置为在活动/活动配置中使用两个物理NIC：

我已经运行了esxtop，并且可以看到ESXi主机已经为VMKernel端口选择了连接到开关2的物理NIC。从PC机上看，如果我平了ESXi主机的管理IP地址，就会出现间歇性的脉冲。他们上上下下。

如果我在每个交换机上显示mac地址表，我会看到交换机2总是将VMKernel的MAC地址分配给连接到ESXi主机的交换机端口。但是，交换机1在其各自的物理端口上不断添加和删除VMKernel的MAC地址。每当交换机1将VMKernel的MAC分配给其物理端口时，pings就会失败。

失败的原因是显而易见的。交换机1经常获取ESXi VMKernel端口的MAC地址的原因是问题所在。ESXi主机选择了连接到交换机2的接口作为活动端口。连接到开关1的接口应该是不活动的。但是，它似乎是在响应ARP请求吗？

值得注意的是，此主机上的VM中没有一个存在此问题。它们都是可访问的，一次只出现在一个MAC表中。此问题特别影响VMKernel端口。

那么这个配置是错误的呢？我正在寻找某种类型的文档或解释之上的解决方案，这个问题。我知道，将VMKernel端口设置为活动/备用模式可能会解决这个问题。但是，我找不到任何文档说明为什么当前的配置是一个问题。

最新情况：

• 我在vSwitch上禁用了CDP，认为它可能会导致非活动NIC上的通信。
• 我重写了vSwitch端口的VMKernel设置，并将其设置为使用显式故障转移和活动/备用。我还把备用网卡放在未使用的游泳池里。都帮不上忙。解决这个问题的办法是改变周围的港口秩序。因此，当连接到交换机1的端口处于活动状态时，我看不到问题。在交换机2上，MAC地址根本没有激活。这是两张截然不同的NIC卡，我想知道这是不是某种驱动程序的问题。

一定有什么东西导致VMKernel MAC地址出现在交换机1's端口上，但它每隔几秒钟就会出现一次。

STP和端口的交换机托拉斯:交换机1

!
spanning-tree mode rapid-pvst
spanning-tree portfast edge default
spanning-tree extend system-id
!
interface Port-channel1
 switchport access vlan 11
 switchport trunk encapsulation dot1q
 switchport mode trunk
!
interface GigabitEthernet1/0/7
 switchport access vlan 11
 switchport mode access
!
interface GigabitEthernet1/0/23
 switchport access vlan 11
 switchport trunk encapsulation dot1q
 switchport mode trunk
 channel-group 1 mode desirable
!
interface GigabitEthernet1/0/24
 switchport access vlan 11
 switchport trunk encapsulation dot1q
 switchport mode trunk
 channel-group 1 mode desirable

开关2

!
spanning-tree mode rapid-pvst
spanning-tree portfast edge default
spanning-tree extend system-id
!
interface Port-channel1
 switchport access vlan 11
 switchport trunk encapsulation dot1q
 switchport mode trunk
!
interface GigabitEthernet1/0/3
 switchport access vlan 11
 switchport mode access
!
interface GigabitEthernet1/0/23
 switchport access vlan 11
 switchport trunk encapsulation dot1q
 switchport mode trunk
 channel-group 1 mode desirable
!
interface GigabitEthernet1/0/24
 switchport access vlan 11
 switchport trunk encapsulation dot1q
 switchport mode trunk
 channel-group 1 mode desirable

Answer 1

ESXI中的管理vmk在初始设置期间在第一个PCI时隙中假定Nic的MAC地址。这就是它一直以来的工作方式。这只能在物理设备也开始发送数据包时才能破坏。这通常不会发生，物理Nics不会发送流量，它们会传递流量。如果您决定将物理Nics从一个主机移动到另一个主机，则需要注意此行为，当物理交换机发生故障时，这会导致2个主机连接中断。我猜这个Nic开始报告CDP/LLDP通信量，这时您的交换机看到了MAC复制。最简单的解决方案是通过命令行重新构建vmk。这需要通过直接控制台访问(DCUI) (KVM、劳工组织、IDRAC等)来完成。

以下是命令；(调整IP的/子网掩码/portgroup名称等)以满足你的需要。)

esxcli网络ip接口删除--接口名称=vmk0 0

esxcli网络vswitch标准端口组添加-p Management_Network -v vSwitch0

esxcli网络ip接口加-接口-名称=vmk0 0-端口组-名称=管理_网络

esxcli网络vswitch标准端口组集-p Management_Network --vlan-id 50

esxcli网络ip接口ipv4 set --接口名称=vmk0-ip 4=192.168.50.116-网络掩码=255.255.255.0-网关=192.168.50.1-type=静态

esxcli网络ip接口标签添加-i vmk0 -t管理

这将重建使用VMware MAC地址管理vmk以消除此问题。但是，我建议您与硬件供应商/制造商联系，了解关闭来自物理卡的CDP/LLDP的过程。这将解决这一ESXi主机问题，但如果允许卡(S)继续执行此功能，则会发生在其他人身上。如果这是一个大问题，如你最初所想的，VMware不会是一家大公司，这并不是很常见的.

Answer 2

多年来，我一直在运行一个非常相似的设置，没有任何问题。

您如何配置交换机端口？您不应该做任何特殊的事情(不(M)滞后/LACP)，因为ESXi负责所有事情。可以堆叠开关，只是不要聚合端口，配置任何链接状态镜像或类似的。

Switch2应该永久拥有面向ESXi端口的VMkernel端口和面向开关2的端口上的switch1。

MAC来回摆动可能是由另一个问题引起的，如频繁的STP拓扑更改(通常ESXi看不到，但仍然可能)。检查开关的日志是否有异常。

交换机1经常获取ESXi VMKernel端口的MAC地址的原因是问题所在。

在没有任何延迟的情况下，只有当主机将VMK端口的MAC发送到switch1时才会发生这种情况。它通常不会这样做，除非链接到switch2失败。

连接到开关1的接口应该是不活动的。

对于VMK端口，是的。可能存在附加到同一端口组的VM通信量。

但是，它似乎是在响应ARP请求吗？

无论是否ARP，使用VMK端口MAC的帧都不会无缘无故地来自另一个端口。

Answer 3

您发布的开关端口配置显示您正在使用催化剂开关上的端口通道。

别这么做！对于独立的ESXi主机，这是不支持的。ESXi只负责软件内部的负载平衡和故障转移。如果您绝对希望使用基于外部交换机的端口通道，则需要使用vCenter和分布式交换机。

有关详细信息，请参阅https://kb.vmware.com/s/article/82609和https://kb.vmware.com/s/article/1001938。