首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在Google平台上运行和缩放简单python脚本

问在Google平台上运行和缩放简单python脚本
EN

Stack Overflow用户
提问于 2022-01-23 09:57:03
回答 2查看 402关注 0票数 0

我有一个简单的python脚本,我想在GCP上运行数千个实例(同时)。这个脚本由$Universe调度程序触发,类似于"python main.py --date '2022_01'“。

我需要使用什么样的架构和技术来实现这一目标。

PS:我不能放弃$Universe,但我并不反对使用其他技术的建议。

我的解决方案:

  1. I已经有一个$Universe服务器一直在运行。
  2. Create Pub/Sub主题
  3. 创建永久计算引擎,该引擎一直在监听Pub/Sub,
  4. $Universe将上千个事件发送到$Universe引擎,触发在另一个计算引擎

H 112上创建Python (我不知道如何做到)H 213/code>G 214

这是个好建筑吗?

如何扩大这类过程的规模?

谢谢您:)

EN

回答 2

Stack Overflow用户

发布于 2022-01-23 12:34:08

讨论架构和设计问题可能非常困难,因为它们通常很大程度上取决于上下文、范围、功能和非功能需求、成本、可用技能和知识等等。

就我个人而言,如果可能的话,我更愿意使用完全没有服务器的方法。

例如,使用一个(服务器较少的cron作业),它将消息发送到Pub/Sub主题,在该主题的另一端有一个由消息触发的云函数(或其他函数)。

如果它是一个云函数,或其他什么,它应该做什么和如何-取决于您的情况。

票数 2
EN

Stack Overflow用户

发布于 2022-01-23 19:53:46

据我所知,在定制python代码触发器上,有大量由orchestrator ($Universe)触发的同时调用,并且需要在GCP平台上进行调用。

就像@al一样,为了降低成本,我会选择无服务器的方法。

正如我所理解的,pub子似乎没有必要,您可以很容易地从任何HTTP调用中触发函数,并将避免Pub。

PubSub只需要有一些保证(至少一次处理),但是如果$Universe验证每个调用的http请求(查看http响应代码& body,如果不匹配预期的结果,则重试),您可以有相同的行为。

如果您想要进行精确的一次处理,您将需要更多的工具,您接近于事件流(正如我所理解的那样,这可能是一个很好的用例)。在这种情况下,在一个完整的GCP,我将去酒吧/子&数据流,可以保证准确一次,或卡夫卡&卡夫卡流或Flink。

如果至少有一次处理对您来说是好的,我会去http版本,这将是简单的维护,我认为。在这种情况下,您将有3种无服务器选项:

  • App引擎标准:刻度为0,为cpu使用付费,如果请求被限制为短周期(由于相同的硬件将处理多个request)
  • Cloud功能,则比功能更低):每个请求将支付(+ cpu、内存、网络、.)除了代码之外,不必考虑任何其他问题,但是执行的代码限制了专有的solution.
  • Cloud运行:是我最喜欢的代码,因为它的定价与云功能相同,但是您可以获得可移植性,应用程序是一个简单的对接映像,您可以很容易地移动它(对kubernetes、计算引擎、.)并根据成本(如果研究和实际世界之间的负载发生变化)更改执行引擎。
票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/70820906

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档