从Google appEngine、computeEngine或cloudFunctions网站抓取数据时，我应该使用哪一个？

Question

我想构建一个nodejs应用程序，每20分钟从一个网站上抓取数据，并将其存储在防火墙中。请您告诉我google的哪个产品(计算引擎、应用程序引擎或云功能)对这个需求是有效的，因为下面是我希望做的事情: 1.运行Nodejs，从网站上抓取数据并存储在firebase 2中。计划运行20分钟后，可能会更改为30分钟或1小时。

在阅读了这些文档之后，我知道实现这个功能的方法太多了，但是我正在寻找一种成本效益/资源效益的方法。

指点和想法会很好。

Answer 1

将Node.js应用程序托管在App [1]中，因为云函数是事件驱动的[2]。您可以使用App标准[3]或App灵活的[4]环境。对于调度部分，Google平台有一个CronService[5]，您可以为访问App [6]的任务创建一个Cron作业。您可以在这里找到一个示例设计，[7]。

Answer 2

这取决于脚本在等待请求时花费了多少时间。在这段时间里，脚本是闲置的，但你的收费是一个超高的速度。

如果您正在执行大量并发操作，那么我会说，使用云函数来实现它。

这样做的另一个好处是你的ip不会被阻塞，因为每次都会不同。

关于日程安排，我不确定Google是否允许这样做，但我知道AWS允许这样做。

Answer 3

一种成本效益高/简单的方法是使用cronjob.org并让它向云函数url发送一个http请求来触发它。如果您担心其他人会触发它，请告诉您的cronjob发送一个http头w/ api键。在云函数代码中检查这个api键，以验证cronjob.org发送了请求。我不认为它比这个更容易/更便宜。