使用Cloudera模拟Map-reduce

Question

我想使用cloudera在一台机器上模拟Hadoop作业(当然，使用多个VM)。我有2个问题1)我可以在cloudera中更改HDFS的复制策略吗? 2)我可以查看每个虚拟机的cpu使用率吗？

Answer 1

我发现我可以通过更改"ReplicationTargetChooser.java“来更改数据复制策略。

Answer 2

您可以使用hadoop fs -setrep更改任何文件的复制因子。您还可以通过添加以下内容来修改hdfs-site.xml来更改默认复制因子：<property> <name>dfs.replication</name> <value>2</value> </property>

您必须登录到每个机器并使用top查看每个虚拟机的cpu使用率。Hadoop中没有任何开箱即用的东西可以让您看到这一点。