vSphere 5/Dell MD3000i多路配置澄清

Question

为了简单起见，重新查看了一个带有两个戴尔1950年代的旧vSphere安装程序，每个主机有4个NIC：esxi1和esxi2。

SAN是一个Dell MD3000i，两个控制器，每个控制器两个NICs：rc00和rc01；rc10和rc11。

现在只配置了一个LUN 0/虚拟磁盘；RAID 10,300 10 SAS15K，6个纺锤体。管制员/通道如下：

rc00：192.168.130.101/24

rc01：192.168.131.101/24

rc10：192.168.130.102/24

rc11：192.168.131.102/24

交换机(sw-1和sw-2)是戴尔PowerConnect 5424；iSCSI“优化”(QoS)没有启用，因为这两个交换机上没有其他流量。启用巨型框架，9000 MTU，流量控制，MDIX自动。

想做一些基准，而这个设置是空的，我有一些时间在我的手。

我已经不太记得如何设置多线程了，我在谷歌上搜索了一下，阅读了戴尔和vmware的一些较旧的4.1白皮书，我看到了两种方法：

一个具有多个vSwitch端口和物理NIC的VMKernel：

rc00:192.168.130.101---sw-1----esxi1:vSwitch1:vmk1:eth1:192.168.130.11 rc01:192.168.131.101---sw-2----esxi1:vSwitch1:vmk2:eth2:192.168.131.11

..。或者两个带有一个vSwitches端口和一个物理NIC的VMKernel：

rc00:192.168.130.101---sw-1----esxi1:vSwitch1:vmk1:eth1:192.168.130.11 rc01:192.168.131.101---sw-2----esxi1:vSwitch2:vmk1:eth2:192.168.131.11

问题1:在性能上有什么实际差异吗?还是有理由选择一种而另一种？其他一切看起来都还好吗？

问题2:实际上，我在NIC控制器上交错了VMKernel端口，这样VMKernel端口/物理NIC (eth1)中的一个绑定到一个内置的Broadcom，而另一个(eth2)绑定到一个Intel。

我想，如果其中一个NIC/NIC控制器向南，那么通过第二个NIC/NIC控制器仍然有一条可用的路径。想知道这是否会导致多面手的性能问题或一般的不稳定；没有看到任何东西来指示这种或那种方式。

也许我期待的失败永远不会失败，这“很好”(也就是说，如果有NIC失败，主机可能会只是吓坏了)。

注意：“一个vSwitch，多个VMKernel端口”方法实际上似乎把ESXi主机吓坏了。重新启动需要花费异常长的时间，有时路径/LUN没有显示活动/活动I/O，或者根本没有出现，需要一个Rescan和/或VMKernel的上/下来让它再次看到LUN。对于配置来说，这看起来很奇怪，因为您在同一个vSwitch/广播域上放置了两个不同的子网，而且我相信vSwitches作为第二层交换机的功能。

基准1:这看起来是不是很糟糕？

使用“典型”设置运行ubuntu10.04.2lts (1 vCPU、1024 MB内存、8 GB磁盘、文件系统默认值、ext4和LVM)和bonnie++：

gravyface@testubu:~$ bonnie++ -f -d /tmp
Writing intelligently...done
Rewriting...done
Reading intelligently...done
start 'em...done...done...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version  1.96       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
testubu          2G           96131  57 33783  16           98930  17 444.6  13
Latency                         623ms     645ms               111ms     503ms
Version  1.96       ------Sequential Create------ --------Random Create--------
testubu             -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
          files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
             16 16509  79 +++++ +++ 25608  88 19044  86 +++++ +++ 25079  86
Latency             10289us    1398us    8288us     509us     442us   12159us

采取2：

Version  1.96       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
testubu          2G           97240  54 32974  17           93371  17 420.6  14
Latency                         291ms    1421ms              1266ms     616ms
Version  1.96       ------Sequential Create------ --------Random Create--------
testubu             -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
          files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
             16 14410  71 +++++ +++ 22082  86 18109  88 +++++ +++ 22054  88
Latency               108ms    1324us    2400us     814us      88us    4835us
1.96,1.96,testubu,1,1336168050,2G,,,,97240,54,32974,17,,,93371,17,420.6,14,16,,,,,14410,71, +++++,+++,22082,86,18109,88,+++++,+++,22054,88,,291ms,1421ms,,1266ms,616ms,108ms,1324us,2400us,814us,88us,4835us

采取3:与--iops=3设置从esxcli

Version  1.96       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
testubu          2G           115663  61 35594  18           103602  21 440.0  17
Latency                         285ms     571ms             52049us     477ms
Version  1.96       ------Sequential Create------ --------Random Create--------
testubu             -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
          files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
             16 14206  73 +++++ +++ 22753  90 18424  91 +++++ +++ 22367  90
Latency               108ms    1951us    1827us    6200us     326us    6127us
1.96,1.96,testubu,1,1336168752,2G,,,,115663,61,35594,18,,,103602,21,440.0,17,16,,,,,14206,73,+++++,+++,22753,90,18424,91,+++++,+++,22367,90,,285ms,571ms,,52049us,477ms,108ms,1951us,1827us,6200us,326us,6127us

Answer 1

Q1:每个‘m内核端口一个vSwitch是通常的方法，但是如果您有其他方法的话，我不确定任何事情都会变得不爽。vSphere 5具有相当严格的遵从性测试，要将适配器绑定到iSCSI启动器，必须通过该测试，如果使用单个vSwitch，则可能会失败。但这些只是我的想法，而不是实际事实:)

Q2:我也用不同的网卡对每个before，就像我以前见过的。你真的不想对你的存储器失去所有的连接。但话又说回来，这种事情发生的可能性并不大。在FC环境中，使用双口HBA而不是单端口HBA也很常见。安全总比抱歉好吗？

无论哪种方式-你不应该经历任何性能问题，因为所有现代网卡有卸载内置。实际上，我猜你在使用双网卡时会得到更好的表现，因为你会得到不同的中断和一个单独的PCIe车道。