我拥有一个库,它读取文件(大小)并将其转换为我们供应商的应用程序所需的特殊格式。根据文件大小,此转换可花费5秒至10分钟之间的任何时间。
直到现在,当我的用户想要使用这个功能时,他们需要将我的库集成到他们的应用程序中。但是,我希望将我的库作为一项服务提供这种功能,这样用户就可以根据我的服务器的文件系统(ex: S3)中存在的文件发送带有参数的特殊文件创建请求。我计划提供API集成和用户可以在其中进行配置和发送请求的前端。
我的最终用户将以两种方式使用我的服务:
提供这种能力的最佳方法是什么?以下是我的制约因素:
在我看来,我应该创建一个在异步模式下进行特殊文件创建的实例池。当用户提交请求时,我将状态设置为在DB中排队,返回响应,并在服务器中生成一个单独的线程,用于:
如果用户希望看到作业的状态,UI将简单地查询DB的状态(和其他详细信息)。
这个实例池应该在负载均衡器后面,因此请求会出现在未被大量利用的机器上。此外,我应该每小时运行一次批处理,检查需要按计划转换该小时文件的数据库,并将它们的请求发送到我将用于特殊文件创建的相同实例池中。
其他备选方案:
发布于 2021-03-29 12:33:15
我们期望每分钟有许多小文件转换请求(比如10次),还有许多预定的文件转换请求(每天100次)。
我不认为10/min或100/日的数字是如此之多。
计划的文件转换必须在一小时内完成。
如果您说生成一个文件最多需要10分钟,那么假设一个并发线程,在最坏的情况下,您可以在给定的小时内完成6个文件。如果是5秒,那么您可以在一个小时内完成大约720个文件,仍然假设有一个并发线程。
您是否需要并发转换取决于平均文件所用的频率,以及您需要遵守一个小时限制的严格程度。
对于web来说,所有请求看起来都是一样的。因此,这样做并不难,这样您就有了一个公共API端点,它由最终用户和计划中的作业调用。这个过程是完全相同的,所以这里没有问题需要为这两个消费者提供不同的服务。
因为您谈到要花费10分钟来生成这个文件,所以您可能想要转移到一个基于作业的API。也就是说,第一个请求返回一个作业引用,然后使用者可以轮询该作业的完成情况。实质上:
CLIENT (request) SERVER (response)
--------------------------------------------------------------
Generate this file for me! Okay, this is called job 5
Is job 5 done? Nope.
Is job 5 done? Nope.
Is job 5 done? Nope.
Is job 5 done? Nope.
Is job 5 done? Yup.
Give me the job 5 result! Here you go!对于计划的作业,这是相当简单的实现,即“轮询到Yup,然后提取”。
对于前端,您可以选择在后台检查完成时有一个加载旋转器,或者将其作为一个边作业列出( Azure处理其资源创建作业的方式,即边面板中,而您继续使用站点本身)。
这不是不可能使用回调或酒吧/潜艇,但我认为这是不值得的。你不会有一系列的信息被发送,或一个长期的沟通渠道。这是一个只有一个结果的工作,因此基于作业ID的轮询在这里似乎更合适,以避免过于复杂您的设置。
然后,计划的作业在自己的进程中运行,这反过来向API发出请求,获取作业ID,并反复检查作业是否已完成。我缺乏GCP/AWS知识,但我假设这些平台有一些本地的解决方案来处理计划中的工作,就像Azure Scheduler一样。
我不知道任何与云提供商天生兼容的通用调度语言或开放标准(除了为您运行自己的VM之外,这相对地浪费了资源/预算)。
我计划提供API集成和用户可以在其中进行配置和发送请求的前端。
为了不必开发两个API,我建议构建您的前端,以便它使用相同的API集成。这使您不必构建两个端点(一个REST,一个返回视图)。
这个实例池应该在负载均衡器后面,因此请求会出现在未被大量利用的机器上。
一旦您有了一个为这两种用例服务的公共API,就可以使该API具有可伸缩性,但是您的首选云提供商已经为您提供了可伸缩性。计划作业本身不会承受工作负载的主要影响,它们只是间歇性地检查API是否完成了它的工作。
这也意味着您可以决定要运行多少并发转换。不想运行额外的并发转换?不要向调用者返回作业引用(以及非200状态代码,最好是429)。这个限制取决于您的需求和运行多个转换的成本(即基于规范的云提供商成本),我不能为您打那个电话。
如果您想坚持按计划完成100次文件转换的限制--每次转换可能需要10分钟,并在不超过60分钟的时间内完成--这意味着您需要将近17个并发线程才能实现这个目标。
从数学上讲,每个线程给你每10分钟一个文件,所以每小时6个文件,所以17个线程给你102个文件每小时。
https://softwareengineering.stackexchange.com/questions/424902
复制相似问题