如何在爬行亚马逊S3文件夹时排除日期模式。使用aws爬虫

Question

我的文件夹结构如下：

s3://foo/table1/2021-06-12/03-35-00/
s3://foo/table1/Current/data
s3://foo/table2/2021-06-12/03-35-00/
s3://foo/table2/Current/data
s3://foo/table3/2021-06-12/03-35-00/
s3://foo/table3/Current/data

..。等等

我想要排除所有的日期和时间戳模式，并且只抓取当前/数据文件夹。如何才能做到这一点？

Answer 1

考虑到当前的爬虫包含路径被设置为爬行s3://foo位置，那么您可以在爬虫设置中使用排除模式配置：s3://foo/tabel*/2021*/**，如果从2021年开始，它将跳过所有表的所有文件和文件夹。

类似地，您可以在本节中添加其他glob模式以跳过其他文件和文件夹。

​

​

为了更好地理解，您可以参考，包括和排除模式部分这里