首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >运行计划作业的最佳架构是什么(最大)。以及由用户发起的作业,这两个任务都进行相同的处理?

问运行计划作业的最佳架构是什么(最大)。以及由用户发起的作业,这两个任务都进行相同的处理?
EN

Software Engineering用户
提问于 2021-03-29 06:58:37
回答 1查看 205关注 0票数 -1

我拥有一个库,它读取文件(大小)并将其转换为我们供应商的应用程序所需的特殊格式。根据文件大小,此转换可花费5秒至10分钟之间的任何时间。

直到现在,当我的用户想要使用这个功能时,他们需要将我的库集成到他们的应用程序中。但是,我希望将我的库作为一项服务提供这种功能,这样用户就可以根据我的服务器的文件系统(ex: S3)中存在的文件发送带有参数的特殊文件创建请求。我计划提供API集成和用户可以在其中进行配置和发送请求的前端。

我的最终用户将以两种方式使用我的服务:

  1. 上传原始文件到我的服务器,并请求特殊的文件创建。我计划从UI中获取用户的文件,并将其上传到共享文件系统。
  2. 计划特殊文件的创建。有一些源文件,我将定期从外部供应商下载,我的用户需要从这些文件中创建特殊的文件。所以他们只需要选择这些文件中的哪一个,我需要让他们每天都可以使用这个特殊文件(存储在共享文件系统中,可以从UI下载)。

提供这种能力的最佳方法是什么?以下是我的制约因素:

  1. 解决方案必须能够在任何公共云中运行(AWS/GCP/Azure),而不需要太多的自定义。我计划封装我的解决方案组件(创建一个码头映像),我应该能够部署到任何地方。
  2. 解决方案必须是可伸缩的--我们期望每分钟有许多小文件转换请求(比如10),还有很多计划好的文件转换请求(100/天)。计划的文件转换必须在一小时内完成。
  3. 理想情况下,计划文件和临时文件都应该在同一个组件中创建.
  4. 同样,理想情况下,我只需要为我的解决方案维护一个公共云(AWS/GCP/Azure)的对接映像,因为我的公司计划将该解决方案作为SaaS和one部署提供给其他公司(B2B)。

在我看来,我应该创建一个在异步模式下进行特殊文件创建的实例池。当用户提交请求时,我将状态设置为在DB中排队,返回响应,并在服务器中生成一个单独的线程,用于:

  1. 从共享文件系统下载源文件,并在开始和结束时更新状态。
  2. 转换它,并在开始和结束时更新状态。
  3. 将结果上载到共享文件系统,并在开始和结束时更新状态。

如果用户希望看到作业的状态,UI将简单地查询DB的状态(和其他详细信息)。

这个实例池应该在负载均衡器后面,因此请求会出现在未被大量利用的机器上。此外,我应该每小时运行一次批处理,检查需要按计划转换该小时文件的数据库,并将它们的请求发送到我将用于特殊文件创建的相同实例池中。

其他备选方案:

  1. 使用高频批处理检查任何文件转换请求。我不知道这有多大的可伸缩性,即使我有一个批处理应用程序池,我也必须从头开始编写作业分配--这是我不想做的事情,因为其他技术已经解决了这个问题。批处理还将限制用户创建特殊文件的能力,因为他们需要等待最少的时间才能完成他们的“工作”。
  2. 使用pub/。这样做的缺点是,我需要为不同的公共云提供商维护不同的对接映像,因为它们为pub/sub提供了不同的服务。
EN

回答 1

Software Engineering用户

回答已采纳

发布于 2021-03-29 12:33:15

我们期望每分钟有许多小文件转换请求(比如10次),还有许多预定的文件转换请求(每天100次)。

我不认为10/min或100/日的数字是如此之多。

计划的文件转换必须在一小时内完成。

如果您说生成一个文件最多需要10分钟,那么假设一个并发线程,在最坏的情况下,您可以在给定的小时内完成6个文件。如果是5秒,那么您可以在一个小时内完成大约720个文件,仍然假设有一个并发线程。

您是否需要并发转换取决于平均文件所用的频率,以及您需要遵守一个小时限制的严格程度。

  1. 理想情况下,计划文件和临时文件都应该在同一个组件中创建.

对于web来说,所有请求看起来都是一样的。因此,这样做并不难,这样您就有了一个公共API端点,它由最终用户和计划中的作业调用。这个过程是完全相同的,所以这里没有问题需要为这两个消费者提供不同的服务。

因为您谈到要花费10分钟来生成这个文件,所以您可能想要转移到一个基于作业的API。也就是说,第一个请求返回一个作业引用,然后使用者可以轮询该作业的完成情况。实质上:

代码语言:javascript
复制
 CLIENT (request)                  SERVER (response)
--------------------------------------------------------------
 Generate this file for me!        Okay, this is called job 5
 Is job 5 done?                    Nope.
 Is job 5 done?                    Nope.
 Is job 5 done?                    Nope.
 Is job 5 done?                    Nope.
 Is job 5 done?                    Yup.
 Give me the job 5 result!         Here you go!

对于计划的作业,这是相当简单的实现,即“轮询到Yup,然后提取”。

对于前端,您可以选择在后台检查完成时有一个加载旋转器,或者将其作为一个边作业列出( Azure处理其资源创建作业的方式,即边面板中,而您继续使用站点本身)。

这不是不可能使用回调或酒吧/潜艇,但我认为这是不值得的。你不会有一系列的信息被发送,或一个长期的沟通渠道。这是一个只有一个结果的工作,因此基于作业ID的轮询在这里似乎更合适,以避免过于复杂您的设置。

然后,计划的作业在自己的进程中运行,这反过来向API发出请求,获取作业ID,并反复检查作业是否已完成。我缺乏GCP/AWS知识,但我假设这些平台有一些本地的解决方案来处理计划中的工作,就像Azure Scheduler一样。

我不知道任何与云提供商天生兼容的通用调度语言或开放标准(除了为您运行自己的VM之外,这相对地浪费了资源/预算)。

我计划提供API集成和用户可以在其中进行配置和发送请求的前端。

为了不必开发两个API,我建议构建您的前端,以便它使用相同的API集成。这使您不必构建两个端点(一个REST,一个返回视图)。

这个实例池应该在负载均衡器后面,因此请求会出现在未被大量利用的机器上。

一旦您有了一个为这两种用例服务的公共API,就可以使该API具有可伸缩性,但是您的首选云提供商已经为您提供了可伸缩性。计划作业本身不会承受工作负载的主要影响,它们只是间歇性地检查API是否完成了它的工作。

这也意味着您可以决定要运行多少并发转换。不想运行额外的并发转换?不要向调用者返回作业引用(以及非200状态代码,最好是429)。这个限制取决于您的需求和运行多个转换的成本(即基于规范的云提供商成本),我不能为您打那个电话。

如果您想坚持按计划完成100次文件转换的限制--每次转换可能需要10分钟,并在不超过60分钟的时间内完成--这意味着您需要将近17个并发线程才能实现这个目标。

从数学上讲,每个线程给你每10分钟一个文件,所以每小时6个文件,所以17个线程给你102个文件每小时。

票数 1
EN
页面原文内容由Software Engineering提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://softwareengineering.stackexchange.com/questions/424902

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档