hadoop distcp故障切换hftp协议

Question

我想通过hftp协议使用distcp从cdh3和cdh4复制文件。该命令类似于：hadoop distcp hftp://cluster1:50070/folder1 hdfs://cluster2/folder2

但由于作业跟踪器UI中的某些http connection error，作业失败

INFO org.apache.hadoop.tools.DistCp: FAIL test1.dat : java.io.IOException: HTTP_OK expected, received 503 
    *at org.apache.hadoop.hdfs.HftpFileSystem$RangeHeaderUrlOpener.connect(HftpFileSystem.java:376)
at org.apache.hadoop.hdfs.ByteRangeInputStream.openInputStream(ByteRangeInputStream.java:119)
at org.apache.hadoop.hdfs.ByteRangeInputStream.getInputStream(ByteRangeInputStream.java:103)
at org.apache.hadoop.hdfs.ByteRangeInputStream.read(ByteRangeInputStream.java:187)
at java.io.DataInputStream.read(DataInputStream.java:83)
at org.apache.hadoop.tools.DistCp$CopyFilesMapper.copy(DistCp.java:424)
at org.apache.hadoop.tools.DistCp$CopyFilesMapper.map(DistCp.java:547)
at org.apache.hadoop.tools.DistCp$CopyFilesMapper.map(DistCp.java:314)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:50)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:417)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:332)
at org.apache.hadoop.mapred.Child$4.run(Child.java:268)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
at org.apache.hadoop.mapred.Child.main(Child.java:262)*

folder1中的大多数文件将被复制到folder2中，除了一些文件由于上面的异常而失败。有没有人和我有同样的问题，怎么解决这个问题？提前谢谢。

Answer 1

HFTP使用数据节点上的HTTP web服务器来获取数据。检查此HTTP web服务器是否在所有数据节点上工作。我得到了这个确切的错误，在调试后，我发现一些数据节点上的web服务器由于一些损坏的jar文件而没有启动。

此when服务器在启动datanode时启动。您可以检查初始的500行datanode日志，以查看此see服务器是否正在启动。

Answer 2

1. 您的Hadoop群集cluster1和cluster2是否运行相同版本的Hadoop？详细的发布版本是什么？
2. 您在Hadoop上启用的任何安全设置？
3. HTTP返回代码503是服务器暂时不可用，在复制过程中是否发生了任何网络问题？