火花与InfiniBand

Question

我正在尝试在一个具有infiniband互连的HPC集中集群中使用Spark。此群集不提供对IPoIB的支持。我在这里看到了俄亥俄州立大学的Spakr-RDMA项目。我找不到其他人在做这方面的工作，或者将来是否会支持IB。问题是，在仅以IB为网络的HPC环境中，是否有任何其他解决方案来获得更多更新版本的spark？

Answer 1

您可以查看有关部署RDMA over以太网(RoCE)以在Mellanox 100 GbE Network https://community.mellanox.com/docs/DOC-3068上加速ApacheSpark2.2.0的参考指南。