Beegfs-客户端不使用mellanox OFED驱动程序

Question

我正在尝试使用RDMA配置和测试beegfs，如以下所述：

https://community.mellanox.com/s/article/howto-configure-and-test-beegfs-with-rdma?t=1570613300675

我的测试配置：

操作系统:Ubuntu16.04在两台服务器上(内核版本4.15.0-65-泛型) OFED: MLNX_OFED_LINUX-4.6-1.0.1.1 beegfs版本: 1.7.3 (最新)适配器:ConnectX-3VPI

服务器:两个类似的服务器系统(128 RAM)。一个充当BeeGFS-服务器，另一个充当BeeGFS-客户端.在下面的例子中，使用了2×Intel Xeon CPU E5-2697v2 (常春藤桥)的系统。

直到我试图重建客户端。重建过程给我两个警告：

CC [M]  /opt/beegfs/src/client/client_module_7/build/../source/common/net/sock/RDMASocket.o
/bin/sh: 1: [: 0005: unexpected operator

CC [M]  /opt/beegfs/src/client/client_module_7/build/../source/common/net/sock/ibv/IBVSocket.o
/bin/sh: 1: [: 0005: unexpected operator

如果我试图重新启动客户端，就会收到一个错误：

root@optiplex2:~# systemctl status beegfs-client.service
● beegfs-client.service - Start BeeGFS Client
   Loaded: loaded (/lib/systemd/system/beegfs-client.service; enabled; vendor preset: enabled)
   Active: failed (Result: exit-code) since wo 2019-10-09 10:07:35 CEST; 16s ago
  Process: 17984 ExecStop=/etc/init.d/beegfs-client stop (code=exited, status=0/SUCCESS)
  Process: 18007 ExecStart=/etc/init.d/beegfs-client start (code=exited, status=1/FAILURE)
 Main PID: 18007 (code=exited, status=1/FAILURE)

okt 09 10:07:18 optiplex2 beegfs-client[18007]: modprobe: ERROR: could not insert 'beegfs': Unknown symbol in module, or unknown parameter (see dmesg)
okt 09 10:07:18 optiplex2 beegfs-client[18007]: - BeeGFS module autobuild
okt 09 10:07:19 optiplex2 beegfs-client[18007]: Building beegfs client module
okt 09 10:07:22 optiplex2 beegfs-client[18007]: /bin/sh: 1: [: 0005: unexpected operator
okt 09 10:07:23 optiplex2 beegfs-client[18007]: /bin/sh: 1: [: 0005: unexpected operator
okt 09 10:07:35 optiplex2 beegfs-client[18007]: modprobe: ERROR: could not insert 'beegfs': Unknown symbol in module, or unknown parameter (see dmesg)
okt 09 10:07:35 optiplex2 systemd[1]: beegfs-client.service: Main process exited, code=exited, status=1/FAILURE
okt 09 10:07:35 optiplex2 systemd[1]: Failed to start Start BeeGFS Client.
okt 09 10:07:35 optiplex2 systemd[1]: beegfs-client.service: Unit entered failed state.
okt 09 10:07:35 optiplex2 systemd[1]: beegfs-client.service: Failed with result 'exit-code'.

如果我不使用OFED驱动程序，一切都正常。在这种情况下，可以使用TCP/IP堆栈而不是RDMA。

你知道怎么解决这个问题吗？我也尝试过较早版本的OFED驱动程序，但没有在我的系统上编译。

最好的

雷姆科

Answer 1

在/etc/beegfs/beegfs-client-autobuild.conf中尝试这样做：

buildArgs=-j8 BEEGFS_OPENTK_IBVERBS=1 OFED_INCLUDE_PATH=/usr/src/ofa_kernel/default/include/