S3DistCP为清单复制一些文件，而不复制其他文件

Question

我们使用S3Distcp将文件从S3复制到HDFS，方法是使用清单文件--即在S3Distcp命令中使用--copyFromManifest参数。但是，在S3DistCP步骤中，只复制清单中列出的一些文件。我不知道我们应该从哪里开始寻找问题--例如，为什么有些文件是复制的，而另一些则不是？

谢谢

Answer 1

可能问题是，您的文件具有相同的名称，但在不同的目录。在这种情况下，您需要更改构造baseName和srcDir字段的方式。请描述如何构建清单文件。