可扩展存储

Question

我正在开发一个web应用程序服务，并希望扩展我们的内部服务器。

我们目前的服务器有1TB的存储容量。用户创建10 of的数据，每天都会添加到我们的数据库中。

正如你们所看到的，以我们目前的速度，我们只能维持这种储存增长100天。我们预计数据创建的速度不会在不久的将来放缓。由于信息的性质，我们不想使用商业云存储(aws、google、microsoft、softlayer等)。

我们希望构建一个可以不断扩展的服务器基础设施(超过100 to的限制)。这将是一个渐进的过程，视需要，并将跨越多个4U服务器架。

我的问题是，在不使我们的软件过于复杂的情况下，标准的方法是什么？我已经研究过ZFS和openNAS，但是在池和持续扩展存储方面似乎存在限制。

构建一个可以不断扩展以支持我们的存储需求的同质存储体系结构的最佳方法是什么？

Answer 1

即使从我有限的经验来看，我也应该说你的问题不够明确.例如，您不讨论负载、延迟和带宽需求。请查看此问答页面以获得更多信息：你能帮我做容量规划吗？

我的经验是为我们的实验室构建和管理140 60 (并且不断增长，80 60初级+60备份)存储。我们用它来存储研究数据(大部分是成像数据，有些是基因组学，没有数据库)。系统由两台服务器组成，位于不同的服务器机房，设计为可扩展的。请接受我写的信。

我们的服务器运行FreeBSD和ZFS、带SAS扩展器的4U盒。每个盒子都塞满了4-5TB驱动器。备份是新的，有12x5TB驱动器，配置为RAID6又名RAIDZ2。

可扩展性通过两种途径实现：

1. 每个Z池(例如，12x5TB)可以通过并行添加额外的12个HDD来扩展。诀窍是，我们将不得不添加驱动器到存储块的60 to，我们不能(AFAIK)增加30 to和6个月后额外的30 to。如果您对ZFS感兴趣，请阅读术语(包括甲骨文和FreeBSD在内的许多网站)。
2. 使用SAS允许我们轻松地添加多达45个驱动器插槽的额外4U JBOD盒，通过单根电缆连接到主盒的HBA/RAID卡。

据我所知：

• 当在服务器级硬件上运行时，ZFS可以在几乎没有监管的情况下成功地用于托管100 be的数据和自动的场外备份。
• 如果满足带宽要求，使用SAS扩展器可以很容易地扩展ZFS存储。
• 扩展能力在某种意义上并不是“平滑”的，也就是说，如果你在20 to的块中配置你的zpool，你将不得不在路上添加20 to或更大块的驱动器。如果你运行某种RAID6 6/7，你就不能买一个1TB硬盘，然后插上它。如果是RAID10，你可以这么做，因为你的“块”实际上是一两个驱动器。

更新

目前的系统带宽限制如下：

1. 网络通过铜以太网1 1Gbps (整个校园)或10 1Gbps(机架内)
2. 使用HDD的RAID60阵列:nx160 it /S( 4x配置是~5 5Gbps)
3. 使用SAS3 Gbps的4x12=48协议(使用SAS3 4x电缆连接背板和SAS3)

正如您所看到的，我们目前受到1 5Gbps以太网的限制，如果我们在机架内工作(存储<->分析服务器)，我们就会受到服务器吞没5 5Gbps流的能力的限制。我们的数据主要是大文件(5-500GB)，所以我不确定IOPS。为了提高带宽，我们需要在建筑中安装光纤(我们的实验室和服务器室位于不同的楼层)，然后我们受到RAID60阵列速度的限制。然后，我们要么增加额外的条纹，或建立基于SSD的存储。这个系统是为了代替基于USB3 3的HDD而建立的，它打败了HDD。