创建具有多个s3路径的aws glue爬虫

Question

我想创建boto3应用程序接口与亚马逊网络服务胶水爬虫按照以下文件。

https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/glue.html#Glue.Client.create_crawler

这里我需要传递近100个s3路径，我想以编程的方式创建它。

response = client.create_crawler(
    Name='string',
    Role='string',
    DatabaseName='string',
    Description='string',
    Targets={
        'S3Targets': [
            {
                'Path': 'string',
                'Exclusions': [
                    'string',
                ],
                'ConnectionName': 'string'
            },
        ],

这里我需要一次从s3向API调用传递100个路径，有没有更好的方法通过编程来完成，而不是手动将所有s3路径添加到API调用中？

Answer 1

正如Prabbakar提到的，将对象的完整前缀传递给爬虫程序并不是最佳做法。考虑添加整个路径并使用排除项。如果这是唯一的方法，您可以从Targets对象的列表中展开前缀

s3_paths = [
    "s3://Bucketname/data/test1/",
    "s3://Bucketname/data/testone",
    "s3://Bucketname/data/testrandompath",
     ...
]
response = client.create_crawler(
    Name='string',
    Role='string',
    DatabaseName='string',
    Description='string',
    Targets={
        'S3Targets': [
            {
                'Path': s3_path,
                'Exclusions': [],
                'ConnectionName': 'string'
            }
            for s3_path in s3_paths
        ]
     }
)