首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >大量队列的分布式处理

问大量队列的分布式处理
EN

Software Engineering用户
提问于 2020-10-28 14:57:53
回答 1查看 64关注 0票数 0

我有一个托管在Kubernetes上的相当基本的应用程序,它连接到Mongo数据库。

该应用程序具有钱包功能。用户可以使用现实世界的支付(例如通过PayPal)把钱放在钱包里。每笔付款都注册为该用户的事务处理。钱包中的钱随后用于支付订单,这些订单可能来自不同的来源-- Shopify、API、手动放置等等。当前用户余额是通过聚合事务来推断的(基本上是双项)。

考虑以下情况:钱包中有100美元的用户同时收到两个订单,每个订单价值80美元。显然,这些订单中只有一项是应该下的。不幸的是,钱包支付不是一个原子程序-我需要先计算余额,然后,如果它是足够的话,记录一个支付交易。即使我在数据库事务中这样做,如果这些事务是并行执行的,这两个同时的订单可能仍然认为有足够的平衡。为了确保这种情况不会发生,我使用了锁定。因此,每一项命令将:

  1. 将锁锁在用户的钱包上,以便每次只执行一次钱包付款;
  2. 通过记录交易“执行”付款;
  3. 下订单;
  4. 打开钱包。

这意味着单个用户的所有钱包付款都应按顺序处理。我觉得把用户的钱包付款放在队列里是有意义的--一旦完成了一次支付(钱包被解锁),下一次付款就开始了。这些必须是每个用户的队列--单独的用户支付可以安全地并行处理。

不幸的是,我不知道如何妥善解决这个问题。在内存中实现这样的队列是很简单的,但也是没有弹性的。我正在考虑使用一些MQ,但我没有什么经验,也面临着挑战:

  • 如果这是一个分布式队列,我可以很容易地在Kubernetes上运行,那就太好了;
  • 实际上,我需要许多并行队列--每个用户一个队列;让我们假设成千上万的用户;
  • 负载需要均匀地分布在应用程序荚中。我认为队列应该以某种方式将付费推到应用程序荚,而不是让吊舱拉消息--我不想把这些吊舱和特定的用户连接起来。

我的问题:

  1. 基本理念合理吗?这里有什么我看不到的明显问题吗?
  2. 我需要什么机制来并行地实现多个队列的弹性均匀分布处理?我是否需要消息队列+负载平衡,或者某种Pub/Sub解决方案,或者其他什么?
EN

回答 1

Software Engineering用户

回答已采纳

发布于 2020-10-28 16:31:25

每个用户同时收到多少事务?多久一次?如果是很多,那么有一个队列是没有帮助的,你的响应时间会受到影响。

通常,每个钱包不存在大量的同时交易(除非钱包被破坏)。在数据库层序列化事务并在钱包中没有平衡时迅速失败是一种更容易和更可靠的方法。

可能添加重试或要求用户重试付款也可以。

对这个使用程序来说,队列似乎是一个过度消耗。

票数 1
EN
页面原文内容由Software Engineering提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://softwareengineering.stackexchange.com/questions/418417

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档