使用存储桶根从S3前缀加载数据仅加载一些文件

Question

我在一个存储桶中有大约600个CSV文件的2M+记录，所有记录都在根级别，而不是在任何子文件夹中。所有文件都以3-6位数字的唯一ID号开头。如果我执行以下命令：

LOAD DATA FROM S3 PREFIX 's3://my-bucket/'
        IGNORE INTO TABLE `my_table`
        FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
        IGNORE 1 LINES;

只有大约500k条记录被加载到表中。但是如果我执行一系列从1到9开始的命令，那么最终我会得到加载到表中的数据的预期行数。

LOAD DATA FROM S3 PREFIX 's3://my-bucket/1'
...
LOAD DATA FROM S3 PREFIX 's3://my-bucket/2'
...
LOAD DATA FROM S3 PREFIX 's3://my-bucket/3'
...
...
LOAD DATA FROM S3 PREFIX 's3://my-bucket/9'

根据文档，似乎您不能在前缀字符串中使用通配符*。我不知所措，为什么这不是预期的行为。

Answer 1

更新，找出问题所在。作为更新过程的一部分，文件将被覆盖/替换。如果一个文件/对象正在被写入，那么从S3加载将在该文件上停止。解决方案是在更新前加上一个时间戳，而不是一遍又一遍地写在相同的文件名上。