我已经安装了两个梅拉诺克斯FDR双口连接器-3 HCA卡(CX354A),每一个单独的机器.这些机器彼此直接连接(无开关配置)。卡上的两个端口都是连接的,因此port1与port1连接,port2与port2连接。每个端口配置如下:
HCA1 port1: ib0 inet addr:192.168.10.13 Bcast:192.168.10.255 Mask:255.255.255.0
port2: ib1 inet addr:192.168.10.15 Bcast:192.168.10.255 Mask:255.255.255.0
HCA2 port1: ib0 inet addr:192.168.10.24 Bcast:192.168.10.255 Mask:255.255.255.0
port2: ib1 inet addr:192.168.10.26 Bcast:192.168.10.255 Mask:255.255.255.0在HCA1上运行2个opensm命令,如下所示,ibstat显示所有4个端口都已启动并处于活动状态。
root@HCA1# opensm -g <ib0 GUID> --daemon
root@HCA1# opensm -g <ib1 GUID> --daemon有了上述配置,我可以从任何一个IP到任何其他从上面。
但是,当我断开port1的电缆时,ping在连接的port2对之间不工作。断开port2对,只连接port1对,ping工作良好,即使是断开连接的port2 IP (?)原因是什么,以及我如何解决问题。请提到我应该发布的额外信息。
我试图实现的是为每个端口对建立一个完全隔离的链路,并运行分离的openMPI进程,同时测试和比较两个infiniband电缆的带宽。有谁能就如何做到这一点提出建议?
至于我所学到的,我认为我需要为每个端口对创建不同的分区键。(目前他们使用的是默认的pkey 0xffff ),但是一旦infiniband在引导过程中进行了配置,就不能更改这个默认的pkey。有什么建议或建议吗?
这两台机器都在运行CentOS 6.4,我已经安装了1.5.3的Mellanox。
这些是ibstat在两台机器上的输出:
[root@HCA1 Desktop]# ifconfig ib0
ib0 Link encap:InfiniBand HWaddr 80:00:00:48:FE:81:00:00:00:00:00:00:00:00:00:00:00:00:00:00
inet addr:192.168.10.13 Bcast:192.168.10.255 Mask:255.255.255.0
inet6 addr: fe80::202:c903:21:8f11/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:65520 Metric:1
RX packets:4144160 errors:0 dropped:0 overruns:0 frame:0
TX packets:4141376 errors:0 dropped:2 overruns:0 carrier:0
collisions:0 txqueuelen:1024
RX bytes:702746349 (670.1 MiB) TX bytes:719570861 (686.2 MiB)
[root@HCA1 Desktop]# ifconfig ib1
ib1 Link encap:InfiniBand HWaddr 80:00:00:49:FE:82:00:00:00:00:00:00:00:00:00:00:00:00:00:00
inet addr:192.168.10.15 Bcast:192.168.10.255 Mask:255.255.255.0
inet6 addr: fe80::202:c903:21:8f12/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:65520 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1024
RX bytes:0 (0.0 b) TX bytes:0 (0.0 b)
[root@HCA2 Desktop]# ifconfig ib0
ib0 Link encap:InfiniBand HWaddr 80:00:00:48:FE:81:00:00:00:00:00:00:00:00:00:00:00:00:00:00
inet addr:192.168.10.24 Bcast:192.168.10.255 Mask:255.255.255.0
inet6 addr: fe80::202:c903:21:8f51/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:65520 Metric:1
RX packets:4141382 errors:0 dropped:0 overruns:0 frame:0
TX packets:4144161 errors:0 dropped:2 overruns:0 carrier:0
collisions:0 txqueuelen:1024
RX bytes:703005597 (670.4 MiB) TX bytes:719323129 (685.9 MiB)
[root@HCA2 Desktop]# ifconfig ib1
ib1 Link encap:InfiniBand HWaddr 80:00:00:49:FE:82:00:00:00:00:00:00:00:00:00:00:00:00:00:00
inet addr:192.168.10.26 Bcast:192.168.10.255 Mask:255.255.255.0
inet6 addr: fe80::202:c903:21:8f52/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:65520 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1024
RX bytes:0 (0.0 b) TX bytes:0 (0.0 b) 加载的模块如下:
[root@HCA1 Desktop]# /etc/init.d/openibd status
HCA driver loaded
Configured IPoIB devices:
ib0 ib1
Currently active IPoIB devices:
ib0
ib1
The following OFED modules are loaded:
rdma_ucm
rdma_cm
ib_addr
ib_ipoib
mlx4_core
mlx4_ib
mlx4_en
ib_mthca
ib_uverbs
ib_umad
ib_ucm
ib_sa
ib_cm
ib_mad
ib_core
iw_cxgb3
iw_nes 发布于 2013-06-13 08:53:40
好的,我并不完全熟悉CentOS上的设置,但我认为正在发生的事情是这样的。一个或两个版本的opensm都在ib0链接上工作,但其他的不起作用。ib0是OpenSM的缺省值。
据我所知,您将需要在此特定设置上运行两份opensm,因为如果没有开关绑定,所有HCA都在一起,实际上是两种结构,您需要在这两种结构上运行子网管理器。您已经正确地获得了它们,但实际上没有正确地运行它们(特别是第二个实例)。
因为Linux正在将Ping传递给第二个接口,并且响应两个IP的接口,所以当两者连接时,ping似乎都能工作。所有这些都是在ib0 (Pair1)上工作的。
在我熟悉的ubuntu下面有一个配置文件/etc/default/opensm。
听起来在CentOS上是不一样的。Ubuntu上的文件格式用于使用正确的端口运行opensm,因为每个端口都需要一个opensm子网管理器。
基本上你想要做的是不运行
操作系统-g --守护进程
两次但相反
/usr/sbin/ibstat -p
它将提供如下的输出:
0x001a4bffff0c34e5
0x001a4bffff0c34e6那就跑
opensm -g 0x001a4bffff0c34e5 --daemon
opensm -g 0x001a4bffff0c34e6 --daemon 在Ubuntu下,init脚本实际上自动化了ports=ALL的进程(从/etc/default/opensm读取),其中所有都是一个关键字,获取了by脚本。
在CentOS下,可能有一个init脚本用于opensm。同时,可以使用上述命令,也可以编写自己的启动脚本。
更新:我不确定它是否会产生影响,但我还加载了以下两个内核模块,而您没有。
ib_ipath
ib_qib您是否也用最新的固件显示了您的HCA?这其实很重要。别以为他们有出工厂的最新消息。
发布于 2013-10-23 15:58:29
如我所见,两个不同的物理子网配置有相同的子网地址192.168.10.0。我认为你应该分配不同的子网地址来解决这个问题。
https://serverfault.com/questions/515469
复制相似问题