为什么cloudera 5.12虚拟机中的默认复制因子是1，而在以前的版本中是3？

Question

如果默认复制因子从3更改为1，那么我们不会失去hdfs的可靠性吗？如果由于某种原因导致数据块崩溃或被删除，hadoop工程师如何检索该数据块的唯一副本？

Answer 1

它在虚拟机中可能是1，因为它只有一个datanode进程。如果在虚拟机上将其设置为3，则您创建的任何文件都将处于欠复制状态，并且HDFS将无法修复这些文件。

在具有许多数据节点的真实集群上，默认值应该是3。

Answer 2

关于你的问题

为什么Cloudera5.12虚拟机的默认复制因子是1，而在以前的版本中是3？

我查阅了有关DataNodes的文档，发现

HDFS的默认复制因子是3。也就是说，在任何时候都会维护三份数据副本。

因此，对于一般的Cloudera软件发行版来说似乎不是这样，但对于Cloudera QuickStart VM 5.12来说可能是特定的情况。

如果默认复制因子从3更改为1，那么我们不会失去HDFS的可靠性吗？

你在这一点上是正确的。

如果块由于某种原因崩溃或被删除，Hadoop工程师如何才能恢复块的唯一副本？

而且这也是不可能的。

正如@Stephen ODonnell已经提到的那样

它在虚拟机中可能是1，因为它只有一个数据节点进程。

在单个虚拟(演示？)环境中可能没有多个节点的需要或资源，高可用性等。

HDFS如果在虚拟机上设置为3，则您创建的任何文件都将复制不足，并且

将无法修复这些文件。

这对于单个VM中的单节点群集来节省资源可能是可以的。