接受这个简单的概念任务:消耗一个队列,为每个条目发送一封电子邮件。
一个简单的办法是:
while true:
entry = queue.pop()
sendMail();这里的问题是,如果用户在弹出后崩溃,但在发送邮件之前/期间,则丢失邮件。所以你把它改为:
while true:
entry = queue.peek()
sendMail();
queue.pop();但是现在,如果消费者在邮件发送后崩溃,但在弹出之前,当消费者返回时,邮件将再次发送。
处理这个问题的最佳方法是什么?
发送电子邮件只是这里的一个例子,可以替代任何关键任务。还假设队列的弹出是已发送邮件的唯一记录,因此邮件子系统本身不会记录任何内容。
发布于 2016-04-20 21:22:51
您的需求不像是试图解决这两个通用问题(它没有确定性的解决方案/限制)吗?Problem
窥视-过程-清除
您只希望在确保成功处理后才删除,并确保正确的删除。这些消息中的任何一条都可能丢失/程序在任何步骤都可能崩溃。
大多数健壮的消息传递队列依赖于一组back+重复的尝试(传递)来获得所需的行为(直到back返回)。
但事实上,在每一种情况下都不可能保证完美的行为。您只需权衡胜算,在重复处理(至少是尝试处理)和“永不”(无限内存等)之间进行工程折衷,从而丢失一条特定于实际应用程序需求的消息。同样,这也不是一个新的问题:),而且您不太可能需要为它编写划痕代码--就像我刚才提到的,大多数MQs都解决了这个问题。
发布于 2016-04-20 07:18:39
我在这里提出两个解决办法。第一种是根据我的经验提出的设计(经过进一步的集思广益后可以加以阐述),第二种是一个简短而快速的解决方案。仔细想想,你可以选择适合你的。
漫长的出路-从零开始创建IT
如果您计划创建一个容错和高度可用的队列系统,则必须解决您面临的主要挑战。
如何确保没有丢失消息?
了解您的生产者和消费者:为了设计一个解决方案,首先我们需要了解我们的生产者和消费者。单一生产者-单一消费者。单一生产者-多个消费者。多个生产者-多个消费者。最好的办法是建立一种满足多个生产者-多个消费者-的机制,除此之外,还可以根据这三种情况中的任何一种情况进行配置。
下一个问题;我们如何做到这一点?简单的回答,如果我们能够以某种方式创建一个可配置的机制,它能够接收多条消息并将其广播给多个消费者。该机制还具有读取配置、验证消息(可选的,您也可以将其添加到使用者中)、存储消息的较短时间、跟踪确认、将一条消息分解为多条消息、将多条消息聚合为一条消息、在处理超时或故障时具有“行动计划”并实现该“行动计划”的能力。
详细说明该机制:让我们将此机制称为Broker。因此,在您的解决方案中,代理将以以下方式放置。实心箭头是信息,虚线箭头是确认。

我避免在这里讨论经纪人的详细设计,因为它将脱离上下文。
处理故障:确定可能的故障点1.生产者2.消费者3. Broker 4.网络
Producer Failure:-如果存在复制,而备用生产者继续发送消息而不影响功能,则吞吐量可能会受到影响,直到原始生产者启动并再次运行为止。
对于消费者故障和网络故障的,代理可以维护一种机制,该机制将保留消息,直到接收到确认(为了简洁起见,我们称其为ack )。一旦接收到ack,对应于ack的消息就被删除。
消费者必须以稍微不同的方式来处理这种情况。假设使用者将以下变量保存在状态a.最后一次接收消息b.使用者状态=(活动,休眠,重新启动)。
当使用者启动时,它的值可以是(RE- started ).The,它的使用者最后接收的消息被更新为从代理接收到的每一条消息,状态被更改为ACTIVE。如果使用者试图向代理发送一个ack,并且连接超时,或者网络出现问题,则状态更改为休眠状态,并且保持状态。对于RE启动和休眠的两个场景,将执行验证是否完成了最后接收到的消息的处理。如果是,它将再次向代理发送ack并等待下一条消息。当接收到下一条消息时,状态可以更改为活动状态,并且可以正常开始处理。
另一方面,代理只保留最后发送的消息,直到接收到ack为止。为了克服代理的失败,可以准备主从配置,其中复制代理的状态并将消息重定向到另一个代理,以防第一个代理不可用。
简短的解决方案:
使用类似于@Marcin建议的JMS。我亲自研究过RabbitMQ(x/features.html),并认为对于大多数分布式计算场景来说,这只是起作用。您可以配置高可用性(x/ha.html),它还附带了一个很好的用户界面,可以监视您的队列和消息。
但是,鼓励您检查适合您需要的JMS系统。
希望这能有所帮助
发布于 2016-04-15 09:12:32
您可以使用JMS队列。它给你交易。消息在正确处理后将从队列中降下来。
https://stackoverflow.com/questions/36568574
复制相似问题