有/没有HDFS的Alluxio

Question

我有一个集群，将HDFS作为一个未存储的分布式文件系统，但我刚刚读到关于冲积is 的快速和灵活的内容。所以，我的问题是:我应该在HDFS中使用Alluxio还是Alluxio替代HDFS？(我在他们的站点中看到，用于下存储文件系统的共享存储可以是网络文件系统(NFS)。因此，我认为HDFS不是必需的。如果我犯了错误，请纠正我。

在哪种模式下性能更好: HDFS与Alluxio或Alluxio stanalone (我指的术语是在集群中单独使用，而不是本地使用)。

Answer 1

Alluxio维护者的回复。

首先，Alluxio是而不是，是HDFS的替代品。相反，它是其他分布式/云存储系统之上的一个新的抽象层，包括HDFS、S3、Azure对象存储和其他可能的选择。在您的例子中，如果您的数据已经在HDFS中，您可能仍然将HDFS作为Alluxio的持久数据层。

用户将Alluxio放入图片并看到显著好处的典型场景包括：

• 您的物理数据不在您的计算中定位。例如，您的大数据引擎正在从S3或其他对象存储中读取数据。在本例中，通过使用计算节点部署Alluxio，可以使Alluxio作为文件系统级缓存工作，以避免在网络中重复获取数据。请参阅http://www.alluxio.org/overview/remote-data-acceleration
• 您正在管理多个存储，并希望公开单个数据访问层以简化管理。例如，可以将多个S3/桶“装入”到一个Alluxio部署中，以便它们在同一个命名空间下显示为不同的目录。请参阅http://www.alluxio.org/overview/storage-unification

关于你最初的表演问题。答案是，这取决于。如果您的HDFS远离计算，您将期望获得良好的性能增益。我还看到了HDFS遇到瓶颈的情况，Alluxio也可能有助于减少负载，并为某些关键任务提供良好的SLA。