vSphere ESX5.5主机无法连接到NFS

Question

摘要:我的问题是，我不能使用QNAP NFS服务器作为来自我的ESX主机的NFS数据存储，尽管主机能够平分它。我正在为我的所有网络流量(包括NFS)使用带有LACP上行的vDS，并为每个vmkernel适配器使用一个子网。

安装程序:我正在评估vSphere，我有两个vSphere ESX5.5主机(node1和node2)，每个主机都有4xNIC。我使用LACP/802.3ad与我的交换机合作，然后在两个主机之间创建一个分布式交换机，每个主机的延迟作为上行链路。我所有的网络都是通过分布式交换机，理想情况下，我想利用DRS和冗余。我有一个域控制器VM ("Central")和vCenter VM (" vCenter ")在node1上运行(使用节点1‘S本地数据存储)，两个主机都附加到vCenter实例。这两台主机都位于一个vCenter数据中心和一个目前禁用了HA和DRS的集群中。我有一个

QNAP TS-669 Pro (Version 4.0.3) (TS-x69系列是在VMware存储HCL上)，我想使用它作为NFS数据存储的NFS服务器，它有2xNIC一起使用802.3ad和我的交换机。

vmkernel.log:来自主机的vmkernel.log的错误不是很有用：

NFS: 157: Command: (mount) Server: (10.1.2.100) IP: (10.1.2.100) Path: (/VM) Label (datastoreNAS) Options: (None) cpu9:67402)StorageApdHandler: 698: APD Handle 509bc29f-13556457 Created with lock[StorageApd0x411121]
cpu10:67402)StorageApdHandler: 745: Freeing APD Handle [509bc29f-13556457]
cpu10:67402)StorageApdHandler: 808: APD Handle freed!
cpu10:67402)NFS: 168: NFS mount 10.1.2.100:/VM failed: Unable to connect to NFS server.

网络设置:这是我的分布式交换机设置(JPG)。，这是我的网络。

• 10.1.1.0/24 VM管理(VLAN 11)
• 10.1.2.0/24存储网络(NFS，VLAN 12)
• 10.1.3.0/24 VM vMotion (VLAN 13)
• 10.1.4.0/24 VM容错(VLAN 14)
• 10.2.0.0/24 VM's Network (VLAN 20)

vSphere地址

• 10.1.1.1 node1管理
• 10.1.1.2 node2管理
• 10.1.2.1 node1 vmkernel (用于NFS)
• 10.1.2.2 node2 vmkernel (用于NFS)
• 等。

其他地址

• 10.1.2.100 QNAP TS-669 (NFS服务器)
• 10.2.0.1域控制器(node1上的VM)
• 10.2.0.2 vCenter (VM on node1)

我使用的是Cisco SRW2024P Layer 2交换机(启用Jumboframes)，设置如下：

• 用于LAG1的node1 (端口1到4)为VLAN 11-14 20设置VLAN中继
• 用于我的路由器的LACP LAG2 (端口5到8)为VLAN 11-14 20设置为VLAN中继
• 用于LAG3的node2 (端口9到12)为VLAN 11-14 20安装VLAN中继
• 用于QNAP (端口23和24)的LACP LAG4设置，以接受VLAN 12中未标记的通信量

每个子网都可以路由到另一个子网，尽管从vmk1到NFS服务器的连接不应该需要它。所有其他流量(vSphere网络客户端、RDP等)通过这个设置很好。我使用ESX主机VM预先测试了QNAP服务器，使用专用的物理NIC安装VMware工作站，它没有任何问题。

NFS服务器共享上的ACL是允许的，允许所有子网范围完全访问共享。

我可以从node1 vmk1 (应该用于NFS的适配器)平QNAP：

~ # vmkping -I vmk1 10.1.2.100
PING 10.1.2.100 (10.1.2.100): 56 data bytes
64 bytes from 10.1.2.100: icmp_seq=0 ttl=64 time=0.371 ms
64 bytes from 10.1.2.100: icmp_seq=1 ttl=64 time=0.161 ms
64 bytes from 10.1.2.100: icmp_seq=2 ttl=64 time=0.241 ms

Netcat不会抛出错误：

~ # nc -z 10.1.2.100 2049
Connection to 10.1.2.100 2049 port [tcp/nfs] succeeded!

Node1的路由表：

~ # esxcfg-route -l
VMkernel Routes:
Network          Netmask          Gateway          Interface
10.1.1.0         255.255.255.0    Local Subnet     vmk0
10.1.2.0         255.255.255.0    Local Subnet     vmk1
10.1.3.0         255.255.255.0    Local Subnet     vmk2
10.1.4.0         255.255.255.0    Local Subnet     vmk3
default          0.0.0.0          10.1.1.254       vmk0

VM内核NIC信息

~ # esxcfg-vmknic -l
Interface  Port Group/DVPort   IP Family IP Address                              Netmask         Broadcast       MAC Address       MTU     TSO MSS   Enabled Type       
vmk0       133                 IPv4      10.1.1.1                                255.255.255.0   10.1.1.255      00:50:56:66:8e:5f 1500    65535     true    STATIC     
vmk0       133                 IPv6      fe80::250:56ff:fe66:8e5f                64                              00:50:56:66:8e:5f 1500    65535     true    STATIC, PREFERRED
vmk1       164                 IPv4      10.1.2.1                                255.255.255.0   10.1.2.255      00:50:56:68:f5:1f 1500    65535     true    STATIC     
vmk1       164                 IPv6      fe80::250:56ff:fe68:f51f                64                              00:50:56:68:f5:1f 1500    65535     true    STATIC, PREFERRED
vmk2       196                 IPv4      10.1.3.1                                255.255.255.0   10.1.3.255      00:50:56:66:18:95 1500    65535     true    STATIC     
vmk2       196                 IPv6      fe80::250:56ff:fe66:1895                64                              00:50:56:66:18:95 1500    65535     true    STATIC, PREFERRED
vmk3       228                 IPv4      10.1.4.1                                255.255.255.0   10.1.4.255      00:50:56:72:e6:ca 1500    65535     true    STATIC     
vmk3       228                 IPv6      fe80::250:56ff:fe72:e6ca                64                              00:50:56:72:e6:ca 1500    65535     true    STATIC, PREFERRED

我试过/检查过的东西：

• 我不使用DNS名称连接到NFS服务器。
• 检查了MTU。vmk1、dvSwitch、思科交换机和QNAP设置为9000。
• 将QNAP移动到VLAN11 (VM管理，vmk0)并给它一个合适的地址，仍然存在相同的问题。当然后来变回来了。
• 尝试从vSphere客户机(连接到vCenter或直接连接到主机)、vSphere Web客户端和主机的ESX启动NAS数据存储的连接。所有这些都导致了同样的问题。
• 尝试了一个路径名"VM“、"/VM”和"/share/VM“，尽管它甚至没有连接到服务器。
• 我将一个linux系统(10.1.2.123)插入到为VLAN 12配置的交换机端口中，并尝试安装NFS共享10.1.2.100:/VM，它成功地工作，并对它进行了读写访问。
• 我尝试在ESX主机esxcli network firewall set --enabled false上禁用防火墙。

我想不出下一步该做什么了。我所做的与我的VMware工作站设置不同的事情是在两个主机之间使用一个物理交换机和一个虚拟分布式交换机。我猜想vDS可能是我的麻烦的来源，但我不知道如何在不消除它的情况下解决这个问题。

Answer 1

我放弃了。

我从上行链路中删除了LACP，并使用多路径切换到iSCSI (每个上行链路的端口组和相关的vmk，仅用于SAN)。

Answer 2

嗯..。vDS，NFS和LACP对我非常有用。然而，似乎您正在深入研究一组高端的vSphere特性。大多数安装并不需要LACP，但我能理解尝试使用它的吸引力.

如果QNAP不允许挂载，vDS和其他特性都不重要.

• 您已经验证了与vmkping的连接，但可能应该使用巨无霸MTU：vmkping -s 9000 10.1.2.100 (不需要指定接口)尝试它。确保它起作用。
• 我会暂时完全禁用QNAP ACL。
• 您的挂载路径名应该是ip.address:/share/VM/。
• 尝试再次挂载，但请注意/var/log/vobd.log中ESXi主机上的消息。如果上面写着“挂载请求被NFS服务器拒绝”，那么问题就是QNAP。
• 抱歉，我们错过了你的物理开关类型/型号和配置.你能描述一下吗？您应该对相关端口进行集群VLANs+LACP吐露。

您的vDS配置屏幕截图看起来像是一个主机的价值信息。验证您的配置是否设置了LACP和正确的负载平衡模式。它应该如下所示：

Answer 3

昨天TS-420 U和ESXi 5.5 U1也出现了同样的问题。我的设置：-两个带有ESXi服务器的vCenter 5.5 -直接连接存储- QNAP 420 QNAP在与ESXi主机相同的子网上(因此没有路由问题)-所有这些都在子网10.207.253.128/26上。

在配置NAS之后，我将ACL设置为适当的子网(10.207.253.*)，并且没有问题地连接。但是在重新启动ESXi主机之后，就没有连接了，与您的错误相同。NAS重新启动和关闭/打开NFS服务没有帮助。我最后一次尝试的是将NAS服务器上的ACL设置为* -> boom，它再次工作了。两个ESXi主机都可以毫无问题地连接到NFS共享。

现在我只需要弄清楚，为什么ESXi主机不能连接设置为子网的ACL .