文件连接的s3DistCp顺序

Question

我试图使用AWS上的S3DistCp工具将多个文件(1.txt、2.txt、3.txt)合并到一个gzip文件中。我使用的是groupBy标志。就目前而言，输出似乎是按名称以反向顺序连接源文件。

因此，结果的内容顺序是3.txt，2.txt，然后是1.txt。

这是故意的吗？是否有一种方法允许按照文件创建的相同顺序(按创建时间)进行连接？

Answer 1

是的，它似乎是从S3Dist-cp推出以来的设计。每个s3-dist-cp作业都从--src位置创建一个清单文件。

为了解决这个问题，你可以：

1. 使用创建一个使用--输出清单。
2. 然后修改此文件以颠倒顺序。
3. 在复制操作期间提供此文件

s3distcp.html