在我的例子中，好的分布式通用文件系统？

Question

我一直在研究使用分布式文件系统的想法以及我的专用服务器，而不是使用Amazon，其结果就是令人头疼的问题！

​

我的项目具有以下特点/要求：

• 用户文件存储在专用服务器中。每个文件存储在两个不同的机器中，位于不同的数据中心(相距150至200英里)。
• 我使用Amazon托管相关的mysql数据库(*)。它相当紧凑(只保存It/文件元数据)
• 文件/数据约为50 is。当然，数据确实会发生变化，并且肯定会随着时间的推移而增长。

​

我的问题是：是否有一个良好的通用分布式并行容错文件系统具有以下特点：

• 稳定和合理的速度(上传/下载)
• 相当容易安装和维护
• 处理数据存储，这样我就只有了，如果需要的话，必须考虑删除/添加新的服务器(即。通过编辑简单的配置或类似的内容，将新服务器添加到文件系统的服务器池中。

我读过关于OpenStack，GlusterFS，MogileFS，XtreemFS，etc...but的文章，读得越多，我就越困惑！

(*)是的，我意识到了矛盾。从成本上讲，在RDS上托管数据库是有意义的。但是，与使用专用服务器相比，在amazon上存储(最多)50 to的用户文件要昂贵得多(前提是它足够好)。

PS.我的应用程序还没上线，所以如果有人有适合我的好主意的话，我愿意接受建议。

​

编辑我是而不是试图做S3克隆，我只需要使用现有的托管基础设施来构建小型云解决方案，我的问题是如何找到正确的分布式文件系统来处理/自动化这个问题。

Answer 1

最近，我们从昂贵的存储解决方案转向开源的Lizardfs分布式存储解决方案。一旦你理解了基本的概念，就可以很简单的建立和扩展。

请查看https://docs.lizardfs.com/introduction.html#architecture以获得快速概述。但暂时别再提暗影大师了。你需要知道的是

1. 一个主：用来调节流量(确保有足够的cpu)
2. 集群服务器：它实际上存储数据。使用任何形式的现成硬件与一堆硬盘连接。
3. 客户端:这些只是简单的挂载点。如果你愿意的话，你可以得到一个巨大的50 if的坐骑。主人将告诉客户端在哪里找到/存储文件。实际数据正直接从客户机->块服务器和后台传输。

您可以添加任意数量的分块服务器，主服务器将自动尝试在它们之间平衡您的存储使用。添加存储是一个添加硬盘或添加服务器的问题。他们不必是真正的裸金属机器，但这可能是最便宜的。

蜥蜴中有两个令人惊叹的特性，它们允许地理折叠。

1. 目标(参见https://docs.lizardfs.com/adminguide/replication.html#standard-goals)：文件对您有多重要。您可以在文件级别/文件夹级别上定义一个文件需要复制多少次。你想要两份3份吗? 10份？您可以为简单地用于存档目的的旧文件定义两个副本的目标。并为所有新文件在SSD驱动器上定义4个副本的目标。

同样的目标也可以用来进行几何运算。通过相应地标记分块服务器，您可以定义数据必须至少存储在两个不同的位置。(例如DC1和DC2)

1. 机架感知(参见configuration.html#configuring-rack-awareness-network-topology)：您基本上定义了IP范围，以教会系统网络的外观。这样，客户端将尝试从最近的服务器提供文件。

为我出售蜥蜴的原因是设置它的方便性。我听说过关于卡夫的好消息，但是设置它是另一回事.

最让我担心的是，这项技术已经得到了怎样的证明。所以我花了很多研究来找出是谁用的。橙色波兰(一家大型电信供应商)是其中的一个用户。而云编织器/opennebula实际上围绕着它建立了一家企业，销售完整的解决方案。

Answer 2

管理这些服务器一年不需要几个月的时间吗？这将花费一些$，然后您有自己托管数据的成本，那么您正在构建的业务/系统显然不具有可伸缩性，这会带来额外的巨大成本？此外，任何可能的投资者都会被复杂的本土数据托管系统拒之门外。您将如何确保与Amazon相同的完整性/安全性？你每年最大的存款大概是3万美元左右。

您可以通过创建一个不重复的存储系统来节省成本，您只需存储所有唯一的数据块，也可以参见rsync。不过，我不知道你的数据有多冗余。

Answer 3

我推荐http://lizardfs.com/和https://en.wikipedia.org/wiki/Gfarm_file_system。

IMHO Ceph令人非常失望，XtreemFS也是如此。