例如,如果Hadoop集群由2个DataNodes组成,并且HDFS复制因子设置为默认值3,那么复制文件的默认行为是什么?
根据我所读到的,HDFS似乎是基于机架感知的,但对于这样的情况,有人知道它是如何确定的吗?
发布于 2012-07-19 08:00:40
它会将数据块视为复制不足,并将不断抱怨这一点,并将永久尝试将它们带到预期的复制因子。
HDFS系统有一个参数(复制因子-默认为3),它告诉namenode应该如何复制每个数据块(在默认情况下,根据给定的副本放置策略,每个数据块应在整个群集中复制3次)。在系统设法将每个数据块复制到复制因子指定的次数之前,它将继续尝试这样做。
https://stackoverflow.com/questions/11552075
复制相似问题