Hadoop previous.checkpoint定位

Question

我试过hadoop-1.0.3和1.0.4。在伪集群模式下。

我的理解是，previous.checkpoint目录应该在"fs.checkpoint.dir“指定的次要名称节点下创建？在所有情况下，我都会在"dfs.name.dir“指定的namenode目录下找到它。这跟伪模式有关还是我的理解错了？有人能帮忙吗！

下面是我的hdfs-site.xml文件。

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/home/hadoop/lab/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/home/hadoop/lab/hdfs/datanode</value>
    </property>
    <property>
        <name>fs.checkpoint.dir</name>
        <value>/home/hadoop/lab/hdfs/secnamenode</value>
    </property>
</configuration>

下面是守护进程的高级目录结构。

hadoop@ubuntu:~/lab/hdfs$ ls -l
total 12
drwxr-xr-x 6 hadoop hadoop 4096 Mar 14 03:41 datanode
drwxrwxr-x 5 hadoop hadoop 4096 Mar 14 03:41 namenode
drwxrwxr-x 4 hadoop hadoop 4096 Mar 14 04:46 secnamenode

下面是NameNode目录的详细信息

hadoop@ubuntu:~/lab/hdfs$ ls -l namenode
total 12
drwxrwxr-x 2 hadoop hadoop 4096 Mar 14 04:46 current
drwxrwxr-x 2 hadoop hadoop 4096 Mar 14 03:13 image
-rw-rw-r-- 1 hadoop hadoop    0 Mar 14 03:41 in_use.lock
drwxrwxr-x 2 hadoop hadoop 4096 Mar 14 03:34 previous.checkpoint

下面是SNN目录的详细信息

hadoop@ubuntu:~/lab/hdfs$ ls -l secnamenode
total 8
drwxrwxr-x 2 hadoop hadoop 4096 Mar 14 04:46 current
drwxrwxr-x 2 hadoop hadoop 4096 Mar 14 03:46 image
-rw-rw-r-- 1 hadoop hadoop    0 Mar 14 03:41 in_use.lock

如果您需要更多的细节，请告诉我。

谢谢拉格斯

Answer 1

我已经对此进行了广泛而绝望的调查。似乎有一个长期挂起的Bug HDFS-1839，它从previous.checkpoint目录中删除SecondaryNameNode。同样的错误可能是在NameNode下创建这个目录的原因。

到目前为止，我已经看到了hadoop的所有版本，在所有这些版本下，previous.checkpoint目录一直都是在NameNode下创建的。

希望这个错误很快就能修复，或者Apache Hadoop澄清了为什么在NameNode下创建目录。