错误datanode.DataNode: secureMain中的异常

Question

我想在窗户上安装Hadoop。Namenode运行良好，但数据节点工作不正常。下面的错误被一次又一次地显示，甚至在尝试了几次之后。在CMD上显示了有关dataNode的以下错误：

    2021-12-16 20:24:32,624 INFO checker.ThrottledAsyncChecker: Scheduling a check for [DISK]file:/C:/Users/mtalha.umair/datanode 2021-12-16 20:24:32,624 ERROR datanode.DataNode: Exception in secureMain org.apache.hadoop.util.DiskChecker$DiskErrorException: Invalid value configured for dfs.datanode.failed.volumes.tolerated -
1. Value configured is >= to the number of configured volumes (1).
        at org.apache.hadoop.hdfs.server.datanode.checker.StorageLocationChecker.check(StorageLocationChecker.java:176)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2799)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2714)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2756)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2900)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2924) 2021-12-16 20:24:32,640 INFO util.ExitUtil: Exiting with status 1: org.apache.hadoop.util.DiskChecker$DiskErrorException: Invalid value configured for dfs.datanode.failed.volumes.tolerated - 1. Value configured is >= to the number of configured volumes (1). 2021-12-16 20:24:32,640 INFO datanode.DataNode: SHUTDOWN_MSG:

我提到了许多不同的条款，但都没有用。我尝试使用另一个版本的Hadoop，但问题仍然存在，而且由于我刚开始工作，我不能完全理解这个问题，因此我需要帮助。

这些是我的配置

-For core-site.xml

<configuration>  
  <property>  
    <name>fs.defaultFS</name>  
    <value>hdfs://localhost:9000</value>  
  </property> 
</configuration>

mapred-site.xml的

mapreduce.framework.name纱

-For纱线-site.xml

<configuration>  
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>  
  </property>  
  <property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
  </property> 
 </configuration>

-For hdfs-site.xml

<configuration>

   <property>
     <name>dfs.namenode.name.dir</name>
     <value>/D:/big-data/hadoop-3.1.3/data/namenode</value>    
  </property>    
  <property>
     <name>dfs.datanode.data.dir</name>
     <value>datanode</value>    </property>    <property>
    <name>dfs.datanode.failed.volumes.tolerated</name>
    <value>1</value> </property>    <property>
     <name>dfs.replication</name>
     <value>1</value>    
  </property>
</configuration>

Answer 1

不幸的是，这一失败的原因正是这条信息所说的。让我试着换个说法。

您配置的

• dfs.datanode.failed.volumes.tolerated = 1
• The (dfs.datanode.data.dir)文件夹数为1.

你是说你不会容忍任何数据驱动器(配置了一个驱动器，你会容忍它被破坏)。这是没有意义的，也是提出这个问题的原因。

您需要修改它，以便至少有一个1的缺口(这样您仍然可以拥有一个正在运行的datanode)。以下是您的选择：

在将drive.

• dfs.datanode.failed.volumes.tolerated设置为1的情况下，
• 配置更多的数据卷(2)。例如，在C和D
• 中将数据存储为0；并将数据卷保持为(1)