首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Mellanox双口HCA,如果ib0对连接,则可以ping,但如果只连接ib1对,则不能ping。

问Mellanox双口HCA,如果ib0对连接,则可以ping,但如果只连接ib1对,则不能ping。
EN

Server Fault用户
提问于 2013-06-13 08:04:46
回答 2查看 4.6K关注 0票数 3

我已经安装了两个梅拉诺克斯FDR双口连接器-3 HCA卡(CX354A),每一个单独的机器.这些机器彼此直接连接(无开关配置)。卡上的两个端口都是连接的,因此port1与port1连接,port2与port2连接。每个端口配置如下:

代码语言:javascript
复制
HCA1 port1:  ib0    inet addr:192.168.10.13  Bcast:192.168.10.255  Mask:255.255.255.0
          port2: ib1     inet addr:192.168.10.15  Bcast:192.168.10.255  Mask:255.255.255.0

HCA2 port1: ib0     inet addr:192.168.10.24  Bcast:192.168.10.255  Mask:255.255.255.0
         port2: ib1     inet addr:192.168.10.26  Bcast:192.168.10.255  Mask:255.255.255.0

在HCA1上运行2个opensm命令,如下所示,ibstat显示所有4个端口都已启动并处于活动状态。

代码语言:javascript
复制
root@HCA1# opensm -g <ib0 GUID> --daemon
root@HCA1# opensm -g <ib1 GUID> --daemon

有了上述配置,我可以从任何一个IP到任何其他从上面。

但是,当我断开port1的电缆时,ping在连接的port2对之间不工作。断开port2对,只连接port1对,ping工作良好,即使是断开连接的port2 IP (?)原因是什么,以及我如何解决问题。请提到我应该发布的额外信息。

我试图实现的是为每个端口对建立一个完全隔离的链路,并运行分离的openMPI进程,同时测试和比较两个infiniband电缆的带宽。有谁能就如何做到这一点提出建议?

至于我所学到的,我认为我需要为每个端口对创建不同的分区键。(目前他们使用的是默认的pkey 0xffff ),但是一旦infiniband在引导过程中进行了配置,就不能更改这个默认的pkey。有什么建议或建议吗?

这两台机器都在运行CentOS 6.4,我已经安装了1.5.3的Mellanox。

这些是ibstat在两台机器上的输出:

代码语言:javascript
复制
[root@HCA1 Desktop]# ifconfig ib0  
ib0       Link encap:InfiniBand  HWaddr   80:00:00:48:FE:81:00:00:00:00:00:00:00:00:00:00:00:00:00:00  
          inet addr:192.168.10.13  Bcast:192.168.10.255  Mask:255.255.255.0  
          inet6 addr: fe80::202:c903:21:8f11/64 Scope:Link  
          UP BROADCAST RUNNING MULTICAST  MTU:65520  Metric:1  
          RX packets:4144160 errors:0 dropped:0 overruns:0 frame:0  
          TX packets:4141376 errors:0 dropped:2 overruns:0 carrier:0  
          collisions:0 txqueuelen:1024  
          RX bytes:702746349 (670.1 MiB)  TX bytes:719570861 (686.2 MiB)  


[root@HCA1 Desktop]# ifconfig ib1  
ib1       Link encap:InfiniBand  HWaddr   80:00:00:49:FE:82:00:00:00:00:00:00:00:00:00:00:00:00:00:00  
          inet addr:192.168.10.15  Bcast:192.168.10.255  Mask:255.255.255.0  
          inet6 addr: fe80::202:c903:21:8f12/64 Scope:Link  
          UP BROADCAST RUNNING MULTICAST  MTU:65520  Metric:1  
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0  
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0  
          collisions:0 txqueuelen:1024  
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)  


[root@HCA2 Desktop]# ifconfig ib0  
ib0       Link encap:InfiniBand  HWaddr   80:00:00:48:FE:81:00:00:00:00:00:00:00:00:00:00:00:00:00:00  
          inet addr:192.168.10.24  Bcast:192.168.10.255  Mask:255.255.255.0  
          inet6 addr: fe80::202:c903:21:8f51/64 Scope:Link  
          UP BROADCAST RUNNING MULTICAST  MTU:65520  Metric:1  
          RX packets:4141382 errors:0 dropped:0 overruns:0 frame:0  
          TX packets:4144161 errors:0 dropped:2 overruns:0 carrier:0  
          collisions:0 txqueuelen:1024  
          RX bytes:703005597 (670.4 MiB)  TX bytes:719323129 (685.9 MiB)  


[root@HCA2 Desktop]# ifconfig ib1  
ib1       Link encap:InfiniBand  HWaddr   80:00:00:49:FE:82:00:00:00:00:00:00:00:00:00:00:00:00:00:00  
          inet addr:192.168.10.26  Bcast:192.168.10.255  Mask:255.255.255.0  
          inet6 addr: fe80::202:c903:21:8f52/64 Scope:Link  
          UP BROADCAST RUNNING MULTICAST  MTU:65520  Metric:1  
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0  
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0  
          collisions:0 txqueuelen:1024  
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)  

加载的模块如下:

代码语言:javascript
复制
[root@HCA1 Desktop]# /etc/init.d/openibd status

  HCA driver loaded

Configured IPoIB devices:
ib0 ib1

Currently active IPoIB devices:
ib0
ib1

The following OFED modules are loaded:

  rdma_ucm  
  rdma_cm  
  ib_addr  
  ib_ipoib  
  mlx4_core  
  mlx4_ib  
  mlx4_en  
  ib_mthca  
  ib_uverbs  
  ib_umad  
  ib_ucm  
  ib_sa  
  ib_cm  
  ib_mad  
  ib_core  
  iw_cxgb3  
  iw_nes  
EN

回答 2

Server Fault用户

发布于 2013-06-13 08:53:40

好的,我并不完全熟悉CentOS上的设置,但我认为正在发生的事情是这样的。一个或两个版本的opensm都在ib0链接上工作,但其他的不起作用。ib0是OpenSM的缺省值。

据我所知,您将需要在此特定设置上运行两份opensm,因为如果没有开关绑定,所有HCA都在一起,实际上是两种结构,您需要在这两种结构上运行子网管理器。您已经正确地获得了它们,但实际上没有正确地运行它们(特别是第二个实例)。

因为Linux正在将Ping传递给第二个接口,并且响应两个IP的接口,所以当两者连接时,ping似乎都能工作。所有这些都是在ib0 (Pair1)上工作的。

在我熟悉的ubuntu下面有一个配置文件/etc/default/opensm。

听起来在CentOS上是不一样的。Ubuntu上的文件格式用于使用正确的端口运行opensm,因为每个端口都需要一个opensm子网管理器。

基本上你想要做的是不运行

操作系统-g --守护进程

两次但相反

/usr/sbin/ibstat -p

它将提供如下的输出:

代码语言:javascript
复制
0x001a4bffff0c34e5
0x001a4bffff0c34e6

那就跑

代码语言:javascript
复制
opensm -g 0x001a4bffff0c34e5 --daemon 
opensm -g 0x001a4bffff0c34e6 --daemon 

在Ubuntu下,init脚本实际上自动化了ports=ALL的进程(从/etc/default/opensm读取),其中所有都是一个关键字,获取了by脚本。

在CentOS下,可能有一个init脚本用于opensm。同时,可以使用上述命令,也可以编写自己的启动脚本。

更新:我不确定它是否会产生影响,但我还加载了以下两个内核模块,而您没有。

代码语言:javascript
复制
ib_ipath
ib_qib

您是否也用最新的固件显示了您的HCA?这其实很重要。别以为他们有出工厂的最新消息。

票数 2
EN

Server Fault用户

发布于 2013-10-23 15:58:29

如我所见,两个不同的物理子网配置有相同的子网地址192.168.10.0。我认为你应该分配不同的子网地址来解决这个问题。

票数 0
EN
页面原文内容由Server Fault提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://serverfault.com/questions/515469

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档