用通配符复制Hadoop？

Question

我希望将某个模式的文件从hdfs内部复制到同一个hdfs集群中的另一个位置。dfs外壳似乎无法处理这一问题：

hadoop dfs -cp /tables/weblog/server=jeckle/webapp.log.1* /tables/tinylog/server=jeckle/

没有返回错误:但是也没有复制任何文件。

Answer 1

您需要在包含通配符的路径中使用双引号，如下所示：

hdfs fs -cp "/path/to/foo*" /path/to/bar/

Answer 2

首先，支持带有通配符的HDFS副本。其次，不推荐使用hadoop dfs，最好使用hadoop fs或hdfs dfs。如果您确信操作没有成功(虽然看起来很成功)，您可以查看namenode的日志文件，看看出了什么问题。

Answer 3

有意思的。这就是我在运行Hadoop0.18.0的本地VM中得到的。你用的是什么版本？我也可以试试1.2.1

hadoop-user@hadoop-desk:~$ hadoop fs -ls /user/hadoop-user/testcopy
hadoop-user@hadoop-desk:~$ hadoop dfs -cp /user/hadoop-user/input/*.txt /user/hadoop-user/testcopy/
hadoop-user@hadoop-desk:~$ hadoop fs -ls /user/hadoop-user/testcopy
Found 2 items
-rw-r--r--   1 hadoop-user supergroup         79 2014-01-06 04:35 /user/hadoop-user/testcopy/HelloWorld.txt
-rw-r--r--   1 hadoop-user supergroup        140 2014-01-06 04:35 /user/hadoop-user/testcopy/SampleData.txt