如何在云服务上运行python代码以使其自动运行5天

Question

我正在做一个使用python和API的web抓取项目，我想让python脚本每天运行5天12个小时，因为我不想让我的系统在CMD或Jupyter中运行，所以我正在寻找一种解决方案，其中任何云服务都可以帮助我实现过程的自动化

Answer 1

要做到这一点，一种方法是用Python编写一个web scraper，并在AWS Lambda上运行它，这本质上是一个没有底层操作需要管理的无服务器函数。根据您的用例，您可以根据页面数据的内容执行一些操作，也可以将结果作为文件写入S3。

要让您的函数以循环方式执行，您可以将AWS Lambda事件触发器设置为CloudWatch事件(在本例中，某个循环计时器可以以任何频率/时间执行，例如在周一至周五的12小时窗口中，每小时一次)。

与启动虚拟服务器(EC2实例)和管理可能因各种原因而在等待/操作期间出错的持久进程相比，这通常是一种更容易的方法。