Cisco LACP与服务器连接问题

Question

我正在配置vPC端到端直到我的服务器获得更多的带宽，下面是我的场景

我看到了一件奇怪的事情，那就是我在N3k交换机上配置了N3k服务器，然后我将我的Linux服务器配置为链接聚合802.3ad键连接，然后我重新启动了服务器，到目前为止，我可以在/proc/net/bonding/bind0中看到正确的键连接配置，我的服务器也开始了ping，但是我发现我在ping中丢失了数据包，后来我发现交换机上的vpc被关闭了，但是我想知道我是如何得到ping的？

N3k# show vpc 1


vPC status
----------------------------------------------------------------------
id   Port   Status Consistency Reason                     Active vlans
--   ----   ------ ----------- ------                     ------------
134  Po1  down*  success     success                    -

后来，我在shut & no shut上做了Port-Channel 1，然后立即启动了vpc。

N3k# show vpc 1


vPC status
----------------------------------------------------------------------
id   Port   Status Consistency Reason                     Active vlans
--   ----   ------ ----------- ------                     ------------
131  Po1  up     success     success                    10,20,30

我的VPC域配置

vpc domain 204
  peer-switch
  role priority 10
  peer-keepalive destination 10.29.0.51 source 10.29.0.50
  auto-recovery
  ip arp synchronize

这是我的vPC配置

interface Ethernet1/1
  switchport mode trunk
  switchport trunk allowed vlan 10,20,30
  spanning-tree port type edge trunk
  spanning-tree bpduguard enable
  speed 10000
  channel-group 1 mode active

interface port-channel1
  switchport mode trunk
  switchport trunk allowed vlan 10,20,30
  speed 10000
  vpc 1

这是我的Linux服务器配置。

如果-债券0

NAME=bond0
DEVICE=bond0
BOOTPROTO=none
ONBOOT=yes
BONDING_OPTS="mode=4 miimon=500 downdelay=1000 lacp_rate=1"
NM_CONTROLLED=no

ifcfg-bond0.10

NAME=bond0.10
DEVICE=bond0.10
BOOTPROTO=dhcp
VLAN=yes
ONPARENT=yes
NM_CONTROLLED=no

问题：

1. 即使vpc处于开关状态，服务器如何敲击？
2. 为什么我需要shut/no shut vpc来提升vpc？这正常吗？
3. 我在同一个vpc集群上安装了30台服务器，所有服务器都有相同的问题，每次我不得不切换并需要执行端口通道shut/no shut。
4. 我是不是漏掉了什么？

更新- 1

为了进行测试，我重新启动了服务器，发现服务器已经启动，但是开关vpc已经关闭，在交换机上，我看到下面的日志，这是一个奇怪的问题。

sw1# show logging | grep "Ethernet1/37"
    2018 Jul  9 14:28:13 sw1 %ETHPORT-5-IF_DOWN_INITIALIZING: Interface Ethernet1/37 is down (Initializing)
    2018 Jul  9 14:28:13 sw1 %ETH_PORT_CHANNEL-5-PORT_INDIVIDUAL_DOWN: individual port Ethernet1/37 is down
    2018 Jul  9 14:28:15 sw1 %ETHPORT-5-IF_DOWN_INITIALIZING: Interface Ethernet1/37 is down (Initializing)
    2018 Jul  9 14:28:18 sw1 %ETHPORT-5-SPEED: Interface Ethernet1/37, operational speed changed to 10 Gbps
    2018 Jul  9 14:28:18 sw1 %ETHPORT-5-IF_DUPLEX: Interface Ethernet1/37, operational duplex mode changed to Full
    2018 Jul  9 14:28:18 sw1 %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface Ethernet1/37, operational Receive Flow Control state changed to off
    2018 Jul  9 14:28:18 sw1 %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface Ethernet1/37, operational Transmit Flow Control state changed to off
    2018 Jul  9 14:28:28 sw1 %ETH_PORT_CHANNEL-4-PORT_INDIVIDUAL: port Ethernet1/37 is operationally individual
    2018 Jul  9 14:28:28 sw1 %ETHPORT-5-IF_UP: Interface Ethernet1/37 is up in mode trunk

服务器端，我看到以下错误

[root@Linux ~]# tail -f /var/log/messages
Jul  9 10:45:47 s_sys@linux kernel: : [  321.299960] bond0: Warning: No 802.3ad response from the link partner for any adapters in the bond
Jul  9 10:46:11 s_sys@linux kernel: : [  345.300288] bond0: Warning: No 802.3ad response from the link partner for any adapters in the bond

Linux服务器端，下面是我看到的

[root@Linux ~]# cat /proc/net/bonding/bond0
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 500
Up Delay (ms): 0
Down Delay (ms): 1000

802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
System MAC address: 6c:3b:e5:b0:7a:40
Active Aggregator Info:
    Aggregator ID: 2
    Number of ports: 2
    Actor Key: 13
    Partner Key: 32883
    Partner Mac Address: 00:23:04:ee:be:cc

Answer 1

溶液

天哪！问题是来自Linux的downdelay=1000选项，一旦我删除了一切都开始工作的内容，我就会重新启动服务器10次，每次vpc都会启动。

我不知道为什么nexus不喜欢downdelay=1000

现在，我的配置在修复后如下所示：

NAME=bond0
DEVICE=bond0
BOOTPROTO=none
ONBOOT=yes
BONDING_OPTS="mode=4 miimon=500 lacp_rate=1"
NM_CONTROLLED=no

• 有人能在评论中解释为什么延迟不起作用吗？

Answer 2

我将首先删除lacp_rate选项，并检查键合界面的LACP速率是否从fast更改为slow。

说明:默认情况下，交换机上的LACP速率很慢(30秒)，在服务器端将其设置为fast (1秒)。这意味着您的服务器每秒钟发送一次LACPPDU，而交换机仅每30秒发送一次。不匹配往往会导致问题(主要是在服务器端)，它们在两端应该是相同的。您也可以在交换机接口lacp rate fast上将其设置为fast，但是建议使用的是默认的(slow)，并且对于大多数情况都应该是好的--除非您有特殊的需求。