选择共享内存系统，MPI库，原始RDMA或ULP以上RDMA？

Question

我是新的高性能计算( HPC )，但我将有一个高性能项目，所以我需要一些帮助，以解决一些基本问题。

应用程序场景很简单:几个由InfiniBand (IB)网络连接的服务器，一个用于主服务器，另一个用于从服务器。只有主读入/写入内存数据(数据大小从1KB到几百MBs)到从数据，而从数据只是被动地将数据存储在他们的内存中(并在正确的时间将内存中的数据转储到磁盘中)。所有的计算都是在主程序中执行，在写入之前或者在从从中读取数据之后。系统的需求是低延迟(小数据区域，如1KB~16 1KB)和高吞吐量(大数据区域，几百MBs)。

所以，我的问题是

1.哪种具体的方式更适合我们？MPI、基本IB/RDMA库或RDMA.上的ULP

据我所知，现有的消息传递接口(MPI)库、原始IB/RDMA库(如libverbs和librdmacm )以及用户级协议(ULP)在RDMA上可能是可行的选择，但我不太确定它们的适用范围。

2.我应该为操作系统或IB网络做一些调优以获得更好的性能吗？

微软的一篇论文[1]宣布：

我们通过对操作系统和NIC驱动器的仔细调整和更改，将性能提高了8倍。

就我而言，我将尽量避免这样的性能调优。然而，如果调优是不可避免的，我将尽我所能。我们环境的IB网络是Mellanox InfiniBand QDR 40 IB/s，我可以自由地为服务器选择Linux。

如果您有任何想法，欢迎您的评论和回答！提前感谢！

[1] FaRM:快速远程内存

Answer 1

如果您使用MPI，您将受益于独立于互连的解决方案。这听起来不像是你要坚持20年的东西，但是软件的持续时间比你想象的要长。

使用MPI还可以让您在将MPI转到infiniband计算机之前在您的笔记本电脑或工作站上进行调试。

至于你关于网络调优的第二个问题，我相信你做不到的调优是没有尽头的，但是除非你有一些真正的工作量和硬数字，否则你就是在浪费你的时间。先把事情做好，然后再担心网络的优化。也许你需要调整许多微小的软件包。也许你需要担心一些大的转会。根据情况的不同，调优将是非常不同的。