Google函数:如何继续超时功能

Question

我有一些功能可以从shopee.co.id open获取商店订单数据，然后在GF (google function)上实现，并通过云调度器触发。问题is.the目标商店订单数据花了我1,5小时获得10K订单数据。据我所知，CF 2在触发时有最多1小时的超时时间。我的问题是：

在云函数或快照之类的云调度程序中发生超时之后，是否有可能继续/重新触发函数中剩下的代码？

是谷歌功能是很好的解决方案的长期任务，如我的情况。如果不是，我应该使用应用程序引擎吗？(注意到:我的脚本不是web服务，需要的只是cron调度程序运行的一个热门脚本，在从api获取数据后直接将数据推送到)。

谢谢

Answer 1

是否有可能在云函数或快照之类的云调度程序中发生超时后，继续/重新触发函数中剩下的代码？

不，没那么简单。最后，您将做大量的编码来正确地实现重试和快照您的工作进度，这样您就不会重复或错过任何东西。谷歌云不会为你做任何这样的工作。

是谷歌功能是很好的解决方案的长期任务，如我的情况？

不，云函数不适合长期运行的批处理工作.

您可以考虑App或Compute。

Answer 2

Cloud function V2不适合长期运行的作业，我认为实现您自己的快照或重试逻辑会很复杂。

您可以考虑其他解决方案：

• Solution 1：Apache /Dataflow作业

Dataflow适用于长时间运行的作业，它是无服务器的，它基于Apache Beam开源模型。

Beam是与Python、Java或GO sdk一起提出的，很容易通过sdk提供的IO类读取api并将结果写入Bigquery

• Solution 2：计算引擎VM或应用程序引擎

的工作

您可以将当前脚本部署到Compute或App (Google Python客户端)，在这种情况下，一小时内没有限制。

Answer 3

对我来说，这里最好的设计就是扩大规模。我的意思是，不只是在一个实例上处理10k订单，而是可以在多个实例上进行处理。例如，进程1k命令超过10个实例。

您还可以尝试利用多CPU处理，特别是在云运行时。

如果您能分享更多关于连接的细节和处理流程，我们可以提供更清楚的建议。