Hadoop节点未处于活动状态

Question

我设置了1个主节点和1个从节点。

我的问题是在运行map reduce处理时。从节点似乎不工作。任何人都可以提供关于如何检查、更改和确保从属设备工作的帮助？

配置文件信息可以在https://drive.google.com/file/d/1ULEe6k2zYnfQDQUQIbz_xR29WgT1DJhB/view下面的URL中找到

以下是我的观察结果

1)当我检查CPU资源利用率时，当运行map reduce作业时，从站似乎不工作，CPU资源为0%，而主站的CPU资源为44%。请参阅附件。

2)当我运行dfs报告时，它显示它有2个活动节点，但在群集网站上它只显示1个。请参阅附件和下面的内容。

3) map reduce在有无备机的情况下总处理时间相同

-------------------------------------------------
Live datanodes (2):

Name: 192.168.249.128:9866 (node-master)
Hostname: localhost
Decommission Status : Normal
Configured Capacity: 20587741184 (19.17 GB)
DFS Used: 174785723 (166.69 MB)
Non DFS Used: 60308293 (57.51 MB)
DFS Remaining: 20352647168 (18.95 GB)
DFS Used%: 0.85%
DFS Remaining%: 98.86%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue Oct 23 11:17:39 PDT 2018
Last Block Report: Tue Oct 23 11:07:32 PDT 2018
Num of Blocks: 93


Name: 192.168.249.129:9866 (node1)
Hostname: localhost
Decommission Status : Normal
Configured Capacity: 20587741184 (19.17 GB)
DFS Used: 85743 (83.73 KB)
Non DFS Used: 33775889 (32.21 MB)
DFS Remaining: 20553879552 (19.14 GB)
DFS Used%: 0.00%
DFS Remaining%: 99.84%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue Oct 23 11:17:38 PDT 2018
Last Block Report: Tue Oct 23 11:03:59 PDT 2018
Num of Blocks: 4

Answer 1

您显示的是使用dfsreport的数据节点，而不是实际处理数据的非需求节点。在YARN UI中，您需要注意"Active Nodes“计数器，在本例中为1。如果主节点是namenode和资源管理器，而从节点是datanode和nodemanager，那么这将是有意义的。

除此之外，如果您有一个不可拆分的文件，例如ZIP，或者您的文件小于块大小(默认情况下为128MB)，则只有一个映射器会处理该文件。此外，不能保证映射器(或减法器)将均匀分布在所有可用资源上

然而，在学习环境之外，40 GB的存储和8 GB的RAM将更好地用于多线程而不是分布式计算(或适当的数据库；即解析文件并将其加载到可查询的存储中)。或者使用Spark或Pig，它们不需要Hadoop，但比MapReduce更容易使用