Hadoop distcp不工作

Question

我试图将数据从一个HDFS复制到另一个HDFS。有什么建议吗?为什么第一次有效而不是第二次？

(工程)

hadoop distcp hdfs://abc.net:8020/foo/bar webhdfs://def.net:14000/bar/foo

(不起作用)

hadoop distcp webhdfs://abc.net:50070/foo/bar webhdfs://def:14000/bar/foo

谢谢!

Answer 1

如果这两个集群正在运行不兼容的HDFS版本，那么您可以使用webhdfs协议在它们之间使用distcp。

hadoop distcp webhdfs://namenode1:50070/source/dir webhdfs://namenode2:50070/destination/dir

如果使用的是NameNode URI和NameNode HTTP端口，则应在“源”和“目标”命令中提供。