无法在40g速度内设置Mellanox connectx-2

Question

我有MellanoxConnectX-2网卡(MT26428)，我从Mellanox存储库安装了MLNX_OFED_LINUX-3.4-1.0.0.0-ubuntu16.04-x86_64驱动程序，但是我想知道这个设备最多安装了20G，虽然我希望它可以安装40G。

以下是ibstatus的结果：

Infiniband device 'mlx4_0' port 1 status:
  default gid:   0000:0000:0000:0000:0000:0000:0000:0000
  base lid:  0x6
  sm lid:        0x2f
  state:         4: ACTIVE
  phys state:    5: LinkUp
  rate:      20 Gb/sec (4X DDR)
  link_layer:    InfiniBand

Infiniband device 'mlx4_0' port 2 status:
  default gid:   0000:0000:0000:0000:0000:0000:0000:0000
  base lid:  0x0
  sm lid:        0x0
  state:         4: ACTIVE
  phys state:    5: LinkUp
  rate:      10 Gb/sec (1X QDR)
  link_layer:    Ethernet

Infiniband device 'mlx4_1' port 1 status:
  default gid:   0000:0000:0000:0000:0000:0000:0000:0000
  base lid:  0x0
  sm lid:        0x0
  state:         1: DOWN
  phys state:    2: Polling
  rate:      10 Gb/sec (4X)
  link_layer:    InfiniBand

Infiniband device 'mlx4_1' port 2 status:
  default gid:   0000:0000:0000:0000:0000:0000:0000:0000
  base lid:  0x0
  sm lid:        0x0
  state:         4: ACTIVE
  phys state:    5: LinkUp
  rate:      10 Gb/sec (1X QDR)
  link_layer:    Ethernet

请注意，默认gid的值是合理的，为了安全问题，我对其进行了更改。

请注意，这些连接器-2卡是通过一个12米QSFP铜线的开关(型号)连接的。我还测试了10m和1m QSFP铜线的背对背方式，没有涉及的开关，并得到了同样的结果，不幸。

Answer 1

这可能是电缆不兼容的问题。如果不发布电缆的模型，就不可能知道您正在使用的电缆是否具有QDR能力。请注意，DDR、QDR和FDR电缆很容易混淆，因为它们看起来都一样。模型验证是了解电缆性能的唯一途径。

您可以通过从Mellanox OFED运行ibdiagnet来找到详细的电缆信息。请注意，在发行版提供的实用程序中没有电缆标识插件。

ibdiagnet --get_cable_info

将有一个文件输出，ibDiagnet2.线缆。查看程序输出的确切路径。对于每个系统/端口/LID，您将找到插入电缆的详细信息。