亚马逊AutoScaling和GlusterFS

Question

我已经建立了弹性负载平衡与5个EC2实例注册负载均衡器。对于我们的网站用户上传他们的数据(图像)，我们将这些图像存储在网络附加存储(NAS)。我们在所有实例上都安装了NAS。

我们正计划推出亚马逊的AutoScaling，并移出网络附加存储。

1. GlusterFS是在自动标度组中的所有实例之间共享数据的一个很好的解决方案吗？
2. Gluster是否确保数据不会丢失？
3. 如果自动标注中的所有实例都被终止，我会丢失用户数据吗？
4. 如果用户上传图像，而处理请求的服务器出现故障，会发生什么情况？
5. 如果客户端出现故障，对IO有影响吗？(格利斯特到底是做什么的？)

Answer 1

GlusterFS是在自动标度组中的所有实例之间共享数据的一个很好的解决方案吗？

可能..。唯一的方法，你将得到一个明确的答案，然而，通过你自己的测试。在过去，我在Linode实例上设置了一个4节点的set服务器集群，使用GlusterFS分发/共享图像的资产目录等等。

我们发现了这种方法的两个主要问题：

1. GlusterFS相当密集的IO，并且在没有竞争的IO的硬件上工作得很好。
2. 偶尔，Linode服务器会遇到对后端SAN的不太理想的访问，而IO-等待时间将急剧增加。当这种情况发生时，Gluster会在剩余的节点之间复制更多的数据，从而导致IO性能在这些节点上受到影响。这样做的结果是，由于SAN配置不太优化或分时，导致一个小的IO点，意味着整个was服务器集群将陷入虚空，整个共享文件系统可能变得不可用。

纯属轶事证据，但我再也不会在带有SAN/共享存储的虚拟机上运行GlusterFS了。

Gluster是否确保数据不会丢失？

它可以..。在Gluster 3.0中，可以更好地识别“复制池”，您可以在其中定义整个集群中存在多少数据副本。将复制级别设置为2，意味着整个集群上有两个副本。这有效地减少了存储容量的一半，但也意味着您对节点故障具有更大的弹性。

重要的是，这还意味着您必须添加更多的节点，作为复制级别的倍数，在本例中，是节点对。

如果自动标注中的所有实例都被终止，我会丢失用户数据吗？

如果实例只使用短暂的实例存储，是的。如果它们是基于EBS的，或者使用挂载的EBS实例，则不会。

如果用户上传图像，而处理请求的服务器出现故障，会发生什么情况？

这在很大程度上取决于应用程序的设计方式。我强烈怀疑用户会丢失他们的数据(在一个天真的架构解决方案中几乎是肯定的)。

如果客户破产，对IO有影响吗？

见上文..。如果客户端由于后端存储问题而崩溃，那么它很容易完全破坏集群的性能。

Answer 2

在将新实例联机时，GlusterFS似乎需要太多的配置，从而使其成为一个很好的系统，可以用于需要自动扩展的实例。我相信这是可以做到的，但更容易改变架构，使web实例不同于glusterfs实例。然后，web实例只需要作为客户端连接到glusterfs层。然后，可以将web实例设置为自动规模。

在处理云系统时，一个很好的规则是将服务映射到实例的比例为1:1。不要试图让一个实例做得太多。在架构上，这在试图缩放事物时是有帮助的。

Answer 3

你已经找到了一些很好的答案来回答你的Gluster问题，但是我想提一些可能有用的东西。

根据您的用例，您可能会发现以下操作更容易管理&不太容易出错：

• EC2's都是相同的，从回购程序中提取代码以保持其更新(您可以通过部署过程管理这些方法)。
• 任何用户上传都可以通过集成到应用程序(python/php等)的S3或API调用直接上传到s3fs。

S3的好处很简单：

• 只为您使用的东西付费(不需要支付EC2s中的大量未使用资源、运行成本、通过多台机器进行复制等，也不需要管理)
• 冗余是内置在S3中的，所以当文件进入s3 (安全意味着它们在托管服务中，在世界各地的多个位置)时，它们是安全的。AWS报告说他们从未丢失过s3中的一个文件)

如果您想要完成额外的工作，您可以配置您的(linux)服务器将所有日志发送到“日志服务器”(这会使所有的EC2s保持不变，尽可能地降低速度)。

我发现，在我管理的web服务器上，这种设置在过去运行得很好。