在Google背景下执行长计算的最佳实践？

Question

我正在为如何最好地为我的web应用程序执行一个长时间的计算而奋斗。基本上，我需要每天下载和解析一个非常大的远程数据集(~500 to，~150 to压缩)。

我原本想把它安排成一个cron任务，然后加载一个前端实例.我所想的问题是，这个实例比我的应用程序在计算上的密集性要大得多，因此仅就这一步就将前端内存限制提高到128 my以上似乎是浪费的。

我正在考虑将它作为后端运行，但似乎没有一种简单的方法可以像cron作业那样在计划中加载后端(我猜cron.yaml只加载前端实例？)

我想我可以使用任务队列，但是我可以把它作为一个任务队列来调度并用cron.yaml启动它吗？

我希望我的问题是有意义的--谢谢你的帮助！

Answer 1

我猜cron.yaml只加载前端实例？

cron配置的“目标”部分可以设置为后端的名称，以便在那里运行代码。

但是，我可以将它安排为一个任务队列并使用cron.yaml启动它吗？

是。您可以有一个cron任务(运行在前端)来调度将在后端运行的任务。这与直接通过cron获取后端相比的好处是，您可以配置任务的重试行为，但不能对cron进行配置。