您能在gzipped输入中使用s3distcp吗？

Question

我正试图使用s3distcp来弥补许多小的gzipped文件，不幸的是，这些文件没有以gz扩展名结尾。s3distcp有一个outputCodec参数，可以用来压缩输出，但是没有对应的inputCodec。我试图在hadoop流调用中使用--jobconf，但它似乎没有做任何事情(输出仍然压缩)。我使用的命令是

hadoop jar lib/emr-s3distcp-1.0.jar -Dstream.recordreader.compression=gzip \
           --src s3://inputfolder --dest hdfs:///data

有什么好主意吗？我在运行AWS EMR AMI-3.9。

Answer 1

正如您在s3distcp代码：https://github.com/netshade/s3distcp/blob/b899910d04a112019ba695f29d3b0b3d9a785603/src/main/java/com/amazon/external/elasticmapreduce/s3distcp/CopyFilesReducer.java第197行中看到的那样，s3distcp依赖于文件扩展名来实例化InputStream。则无法将输入格式设置为参数。