在NAS中寻找哪些短期存储质量？

Question

背景

我在研究生物医学数据的研究部门工作，目前我们正在考虑修改我们的IT结构。我们有几种仪器每天产生GBs数据，连接到网络隔离的计算机上。数据在网络中传输，在传输到全国大学数据存储服务之前，在中间阶段进行处理。

我们需要改进的是将数据存储在短期(~3个月)的中间步骤，在此过程中，研究人员可以访问数据，而不必从远程数据中心查询数据。实际上，中间服务器用于许多不同的目的，并且通常耗尽空间。我们打算购买NAS，专门用于短期存储仪器数据。我有责任想出其他办法。

首先，我列出了我们需要的内容，由此得出了以下需求清单：

• 至少有8TB空间:这不应该是现代设置的问题。
• Gb带宽:与上面相同
• 机架挂载:这样NAS就能在物理上接近我们拥有的其他服务器。
• 可扩展性:万一我们的数据量在不久的将来增加(我想它会)
• 最低限度的维护:我们没有拥有全职系统管理员的自由(经济和官僚主义)，因为这是最精通技术的科学家在服务器维护方面的帮助。我们都不是IT专业人士.

问题(S)

我开始阅读存储系统，关于元数据的最常见问题列表是一个很好的资源。同样，我发现两个类似的问题在研究环境中询问存储问题：

• 可扩展(> 24 TB) NAS用于研究部门
• 研究小组的网络存储，10-100 TB

然而，这两个问题似乎都集中在长期存储上，也集中在单个设备上，而我最感兴趣的是找出在这种情况下哪些特性/规格/质量是有价值的。

根据先前的知识和最近的阅读，我认为在我们选择NAS时，有几个方面可能是重要的：

• 支持SAS驱动器-它真的很重要吗？我知道SAS驱动器通常具有更高的质量，但是假设数组中有冗余，那么如果SATA磁盘死了又有什么大不了的呢？
• 链接聚合--我不得不说，我并不熟悉与之相关的网络层和设备，但我对链接聚合的有限理解是，对于多个网卡，NAS理论上可以将带宽提高一倍/三倍，同样地，多个链路也可用于纠错(至少根据语法)。我希望有更多的信息能帮助我理解这一点，并区分现实和市场营销的谈话。
• 多个网络--这对我们来说是有意义的，因为我们在某些计算机上有隔离标准，所以可以在两个不同的VLAN中使用NAS。如果NAS有两个以太网端口，它是否就像连接到两个不同的网络并完成它一样简单？
• 热交换等-似乎有许多不同版本的这方面。我的理解是，热交换是指连接到NAS的额外磁盘，当一个磁盘发生故障时，首先写入NAS。这是正确的吗？如果是这样的话，热交换是一个很酷的特性，还是一个必须的特性，即使数组正在运行单/双冗余？
• 另一个版本的“热交换”(我不知道它是如何命名的)允许在服务器在线时更换磁盘，所以它是一种热替换(Drobo提供了类似的功能)。这是一个共同的特征，还是特定于Drobo？是否有类似的技术可用？有没有一个我可能不知道的“捕获”？否则，我认为这是相当有趣的，因为它允许在线扩展存储空间。

上面列出的一些特性是我一直在思考的，我非常感谢对这些特性的一些洞察力，可能还有一些我可能会错过的。

Answer 1

购买基于ZFS的设备。任何使用NexentaStor的东西都是一个很好的开端，但听起来你也需要/需要供应商的支持。

类似于PogoStorage StorageDirector的东西会起作用。

另一个不错的罐头选项是DataON NexentaStor产品。

这两个供应商都可以根据您的存储和性能需求分析和定制解决方案。这并不是一个罕见的要求，因此与了解您的领域的供应商交谈将是有帮助的。

为什么是ZFS?

• 在容量和性能方面具有良好的可伸缩性。
• 智能缓存。这将在您的特定应用程序中发挥作用。工作--数据集将在更快的存储层(SSD)上上升.这是ZFS L2ARC缓存。
• 如果你是通过NFS或CIFS安装，写加速是可能的.这是由ZIL设备实现的。
• 我是抗御性极强。

所有的检查点都被击中：

• SAS驾驶。是。它们比基于SATA的解决方案更重要、更稳定.。
• 链接聚合好的。如果有很多消费者的话，我更喜欢从存储单元到交换机的10 the。10 end端到端甚至更好，这取决于您预期的工作量。
• 当然，多个网络是可能的。考虑从存储数组集群到交换机。
• 热交换驱动器。这是既定的。它允许您在系统运行时交换磁盘。但是，在这个容量级别上，您还可能需要一个热备用驱动器，如果驱动器失败，将立即调用该驱动器。

Answer 2

几乎任何NAS (较小的消费模式除外)或SAN都支持在线扩展，这意味着如果您需要更多的空间，您只需插入更多的驱动器，您现有的容量就可以扩展到包括新的驱动器。

具有多个端口的SAN和NAS设备可用于链路聚合或从多个网络进行访问。然而，这两个功能将因产品而异。许多人将明确列出支持的链接聚合，但我怀疑您是否会找到列出来自多个网络的访问权限的产品。这不是一个常见的要求的功能。

你好像把热交换和热备用搞混了。

• 热交换驱动器允许您在打开电源时替换驱动器。
• 热备用(也称为在线备用，或简单地称为备用)是物理插入但没有数据的驱动器。如果数组中的另一个驱动器失败，该数组将重新生成从失败驱动器到热空间的数据。

如果您使用SAN/NAS制造商推荐的SATA驱动器，则SATA驱动器可以正常使用。至少，SATA驱动器应该是企业级的，并且可以在RAID阵列中使用。这些类型的驱动器有特殊的固件，使它们更适合在数组中使用。使用标准的消费者驱动器(特别是那些未经SAN/NAS制造商认证的驱动器)经常导致奇怪的故障场景。就整体的可靠性和稳定性而言，这绝对是你得到你所付出的东西的一个例子。

购物问题是非主题的

然而，购物问题并不是主题，因此对产品的具体建议将不会提出。

我建议你联系一些SAN/NAS制造商(Synology，Drobo，HP，Dell，EMC)并描述您的需求。他们会建议产品，你可以在两者之间做出选择。

在做这件事之前，你需要了解或决定一些事情：

• 您需要什么样的吞吐量？仅仅因为您的服务器上有一个千兆以太网端口，并不意味着您的服务器实际上可以以千兆比特的速度在磁盘上或从磁盘上移动数据，以及( b)您正在使用1Gigabit带宽。
  • 这个问题的答案将决定SAN/NAS控制器所需的性能、网络接口的数量以及磁盘的保护策略(即RAID级别)。

• 你用了多少空间？
• 你想要多少空间？
• 你想有多容易成长？
• 您打算如何备份这些数据？

Answer 3

1. 如果您需要与SAS驱动器相关联的速度，则支持SAS驱动器是很好的。它们比SATA贵，但没有SSD那么贵，它们在速度上处于两者中间。如果速度不是一个问题，支持是好的，但它不值得花更多的钱。
2. 链接聚合正是您所提到的，能够将两个真正的NIC合并成一个更快的单个NIC，我从未听说过错误纠正，但也许我只是没有找到正确的位置。
3. 多个网络通常只是连接和配置网卡。
4. 您提供的热交换的第一个定义更像是热备用/备用，其中安装了一个磁盘，可以在另一个正在使用的磁盘出现故障时使用。第二个是我一直理解的hotswap的意思，就是在更换磁盘的同时不必关闭机器而改变磁盘的能力。

至于进一步的考虑，从长远来看，ewwhite的答案可能会更有用;)