首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >当文件到达S3时,踢胶水爬虫程序

当文件到达S3时,踢胶水爬虫程序
EN

Stack Overflow用户
提问于 2020-05-21 00:53:40
回答 1查看 575关注 0票数 1

我有下面的代码来踢胶水爬虫,每当一个文件落入S3桶。我添加了触发器,并用S3 put对象给出了存储桶的位置。但是,lambda不会在文件到达后立即自动踢开爬虫。但是,如果我在lambda函数上单击test,它就会启动Glue Crawler。请告诉我这里有什么问题。

代码语言:javascript
复制
    import json
import boto3

print('Loading function')

glue = boto3.client(service_name='glue', region_name='us-east-1',endpoint_url='https://glue.us-east-1.amazonaws.com')

def lambda_handler(event, context):
    #print("Received event: " + json.dumps(event, indent=2))

    try:
       glue.start_crawler(Name='test')
    except Exception as e:
        print(e)
        print('Error starting crawler')
        raise e
EN

回答 1

Stack Overflow用户

发布于 2020-05-23 02:34:33

在AWS Lambda ->中,在Trigger configuration中添加一个trigger ->,选择S3、->、select bucket name等。

添加触发器后,当文件上传到存储桶时,会触发lambda。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/61918597

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档