文章/答案/技术大牛

发布

社区首页 >问答首页 >使用自定义资源Lambda运行Crawler

问使用自定义资源Lambda运行Crawler
EN

Stack Overflow用户

提问于 2019-09-17 13:45:28

回答 1查看 491关注 0票数 0

我正在尝试使用云构造来创建和调用AWS Glue爬虫。爬虫的创建部分(作为目标的发电机数据库)在lambda函数中。

我如何使用云形成来实现所有这些？例如，从s3中存在的cod创建λ函数，在创建lambda函数后，应该触发它来创建爬虫程序，然后应该调用爬虫程序来创建目标表。我希望所有这些都是云的形成。

发布于 2019-09-21 13:28:00

您应该编写cloudformation来部署crawler。然后在您的ci/cd中，在通过cloudformation部署crawler之后，编写shell/python脚本来运行crawler。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/57967989

复制

相似问题

问使用自定义资源Lambda运行CrawlerEN