InfiniBand存储

Question

我正在考虑下一次重组我的中型储藏室。它目前大约有30 It，通过AoE共享。我的主要选择是：

1. 保持原样。它还能长一段时间。
   • 去吧，iSCSI。目前速度有点慢，但有更多的选择
   • 光纤通道。
   • InfiniBand。

就我个人而言，我喜欢InfiniBand主机适配器的价格/性能，在Supermicro (我喜欢的硬件品牌)上的大多数产品都有IB作为选择。

Linux已经有了一段时间的IPoIB驱动程序，但我不知道是否有一种众所周知的存储方式。大多数关于IB上的iSCSI的评论都谈到了iSER，以及一些iSCSI堆栈如何不支持它。

那么，有没有人对如何将IB用于Linux服务器的共享存储有一些建议呢？是否有任何发起者/目标项目存在？我可以简单地在IPoIB上使用IPoIB吗？

Answer 1

虽然可以通过iSCSI在InfiniBand上通过IPoIB运行iSER，但iSER和SRP协议在InfiniBand网络上的性能要好得多。Linux的iSER实现可以通过tgt项目获得，而Linux的SRP实现可以通过SCST项目获得。关于Windows支持:此时，Windows没有可用的iSER启动驱动程序。但是winOFED软件包中有SRP启动器驱动程序(请参阅openfabrics.org网站)。

Answer 2

所以..。大多数人并不真正考虑以太网和IB是如何传送数据包的。一方面，以太网非常简单，而且无处不在。但是包管理不是自动魔术，也不是保证交付。当然，现代切换是非常好的！丢包不再是以前的问题了。然而，如果您真正推动以太网，您将开始看到数据包在那里循环。好像他们真的不知道该去哪。最终，数据包到达了它们应该去的地方，但是循环所造成的延迟已经发生了。没有办法诱使数据包去他们应该去的地方。

Infiniband使用有保证的交付。数据包和包传递是主动管理的。你会看到，IB会在性能上达到顶峰，然后像平方正弦一样偶尔下降。下降以毫秒为单位结束。然后表演又达到顶峰。

Etherenet也会达到顶峰，但在使用率很高时也会遇到困难。它不是正弦波，而是下降，然后需要一段时间才能恢复到最佳表现。它看上去像左边的楼梯和右边的笔直的落点。

在大型数据中心，工程师选择以太网而不是IB是一个问题，因为这很容易。然后，数据库管理员和存储工程师争论不休，互相指责性能问题。而且，当他们向网络团队寻求答案时，问题就会被回避，因为大多数工具都认为“平均”网络使用并不是在最佳性能上。您必须监视数据包才能看到这种行为。

噢!选择IB而不是以太网还有另外一个原因。每个IB(FDR)端口可以达到56 Gb/s，每个IB端口必须绑定(6) 10 go端口。那就意味着一条少得多的电缆。

顺便说一下..。当您构建金融、数据仓库、生物逻辑或大型数据系统时，您需要大量的IOPS +带宽+低延迟+内存+ CPU。你不能把它们中的任何一个拿出来，否则你的表演就会受到影响。我已经能够将高达7G/秒的数据从Oracle推送到全闪存。我最快的全表扫描是13秒内的60亿行。

事务性系统可以缩减总带宽，但它们仍然需要上一段中提到的所有其他组件。理想情况下，您将使用10 use用于公共网络，IB用于存储和互连。

只是我的想法..。约翰

Answer 3

我刚刚不得不用Mellanox NICs来处理IB SAN。在RHEL上开箱即用