Hadoop 2.5.2慢响应

Question

根据目前运行Hadoop 2.5.2的MacBook pro w/16 on内存上的文档，我已经设置了OS X 10.9.5是伪分布式模式。

一切看起来都很正常，但是的问题是它非常慢。

• start-dfs.sh需要3到5分钟才能启动namenodes
• hdfs dfs -ls /大约需要一两分钟才能运行。

我没有摄入任何数据，也没有在文档之外做任何事情。我尝试过export HADOOP_ROOT_LOGGER=DEBUG，但是我没有得到任何额外的输出，或者在日志中看到任何不寻常的东西。也许我找错地方了。

在hadoop的旧版本中，我看到的唯一错误是：

"Unable to load realm info from SCDynamicStore"

知道为什么每件事都会这么慢吗？此外，根据我的活动监视器，我几乎没有使用任何资源。

当我运行dfs -ls时，我在我的namenode日志中注意到了这一点

2014-11-25 11:47:24,064 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 1 millisecond(s).
2014-11-25 11:47:54,063 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30000 milliseconds
2014-11-25 11:47:54,064 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 1 millisecond(s).
2014-11-25 11:48:24,064 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30001 milliseconds
2014-11-25 11:48:24,064 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 0 millisecond(s).
2014-11-25 11:48:54,065 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30001 milliseconds

Configurations

核心区：

fs.defaultFS hdfs://localhost:9000

hdfs-网站：

dfs.replication 1

NameNode

​

​

​

​

Answer 1

没有其他的尝试，我决定尝试删除“无法从SCDynamicStore加载领域信息”警告。解决方案是设置HADOOP_OPTS。

虽然以下操作没有删除警告，但出于某种原因，它解决了我的速度问题。

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK
-Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

如果有人能解释为什么，我肯定会接受这个答案。