HDFS块存储

Question

• 1)我有一个包含2个数据阳极的hdp簇。但是hdfs的复制因子是3。在这种情况下，第三个复制块存储在哪里？
• 2)如果我在hdfs中上传一个文件(复制因子为3)， hdfs中的文件大小不应该增加3倍(因为有2) 额外副本)
• 3)是否有一种方法，可以检查数据节点所在的数据块(我了解元数据信息将 在名称节点中，但是是否有一个命令为我提供该信息)？

Answer 1

1)由于NameNode不允许DataNodes拥有同一块的多个副本，因此创建的副本的最大数量是当时DataNodes的总数。

参考资料：Model (复制安置:婴儿第一步)

这意味着，如果有2个数据阳极，则复制因子不能为3。

2)您的文件大小将相同。然而，使用三个副本将增加您的存储开销。如果你的文件是2GB的话。您正在保持您的文件使用与3个副本。这意味着您将为您的文件分配6GB(2GB用于原始文件，2+2 GBs用于副本)存储空间。