回答情况：
提问时间：
问题标签：
1回答
服务将能够完成3类任务，即A、B和C。
我想要的是使服务器上的每个服务在与其他服务器通信时只执行一个类别。如果一台服务器死了，其余的服务器应该协商，其中只有一台应该属于类别。
浏览 4修改于2016-07-18得票数 4
4回答
我有一个CPU密集的芹菜任务。我希望在许多think).实例中使用所有的处理能力(核心)来使这个工作完成得更快，(一个带有多处理的芹菜并行分布式任务- I )。术语、线程、分布式计算、分布式并行处理都是我想要更好理解的术语。示例任务： for item in list_of_millions_of_ids:
id = item # do some long complicated equationdatabase.objects(newid=id)
浏览 3修改于2014-06-16得票数 91
回答已采纳
我知道简单的分布式任务执行(使用分布式执行器服务)，例如和，但是使用的机制是序列化可调用的对象并将其传输到目标执行，正如我所说的，这适用于简单的情况，很多时候它不可能搜索到所有的东西，例如从可调用的许多类中引用来完成一个任务
浏览 6提问于2016-09-05得票数 0
我计划编写一个rails应用程序，将任务分配给不同计算机上的几个工作人员。我正在尝试查看可用的不同技术/gem，但我在决定哪种组合最适合我的需求时遇到了麻烦。到目前为止，我所知道的是:应用程序需要具有容错能力，并且不会丢失任务(即使worker被强制关闭)。任务的数量不是很多，但每个任务所需的时间会有所不同(可能相对较短，也可能需要较长时间)。我已经看到python的芹菜做了一些非常接近我需要的事情，但我想在Ruby语言中尝试一下，如果有工人被杀，它可以在RabbitMQ中重新排队任务。任何信息
浏览 1提问于2011-11-04得票数 1
回答已采纳
1回答
仅用于分布式任务执行是有益的。我有处理大型数据集的要求(从数据库读取、处理、写入数据库)，但是处理是行级的。这意味着我不需要减少或机器学习。
用火花来满足这种要求会不会是一种过分的做法？
浏览 2提问于2016-01-27得票数 1
回答已采纳
1回答
我必须通过电子邮件发送一个特定的任务通知，需要发送给用户谁期待它每6个小时。因此，我使用节点-cron在我的服务器上安排了一个任务，它每30分钟醒来一次，检查是否有任何用户没有回复他们的电子邮件，使用mysql db和updated_at col进行跟踪。工作得很好！但现在我必须让它在分布式环境下工作。使用弹性豆杆与1-4微ec2实例.除了我所拥有的(MySQL)之外，我不想添加任何其他db/存储/队列。
有人能把步骤和节点-cron一起画出来吗？(确保完成某项任务一次，我不想在6小时之前发送通知)
浏览 1修改于2014-11-10得票数 3
1回答
我的节点(普通的旧窗口服务)目前正在使用Azure QueueClient执行其他分布式任务，所以我最初的想法是使用用同样的组件做一些事情。然而，事实证明这是相当有挑战性的(见下文)。通过集思广益，我提出了以下可能的选择：描述:在接收到任务后，消息处理程序将在将来为X排队一个新的消息集。(这方面的一个小小的派生就是使用Azure自动化+ Runbook来对消息进行排队)描述:使用
浏览 0修改于2017-05-23得票数 1
回答已采纳
我试图使用ZMQ推拉来构建一个分布式任务处理系统。这是在Java中通过队列和侦听器使用JMS实现的；空闲的侦听器可以接收队列的消息并执行it.Once --队列是跨节点分布的，这就像负载平衡器一样。然而，即使是当一个工人是自由的，任务是严格循环的方式。这就是说，不管工人是否自由，任务都是以循环的方式进行的。
有什么方法可以用ZMQ模式来模拟分布式队列吗?
浏览 1修改于2015-07-07得票数 0
我正在准备一个演示文稿，并想展示一些UML图，它将告诉我的分布式程序是如何运行的。由于UML是软件世界中的一种通用语言，我认为它是向听众讲述我脑海中事物的最好方法之一。问题是，我不知道如何在一些分布式任务中使用UML图。首先，我希望使用序列图，并将分布式组件显示为参与者。看上去很有可能。但是，如何在这个图表中演示mpi_reduce_all函数呢？
浏览 3提问于2015-01-05得票数 2
回答已采纳
我想要建立一个应用程序，它可以调用定期任务在规定的间隔- cron替换类似，但没有产卵过程。我会有很多任务，大约每分钟10000件。
芹菜-可以作为一个分布式系统工作，但它并不是真正的调度器
浏览 0修改于2018-02-28得票数 4
我正在使用Redisson分布式执行器服务。任务类A被设计用来处理由队列ID标识的给定队列。有多个这样的队列。我需要确保在集群中的任何时候，在同一队列上工作的任务类A的实例不超过一个。因此，任务实例的预分配不是一个选项。
在Quartz分布式调度器的世界中，对应的是所谓的独占作业，由@DisallowConcurrentExecution实现。如果不是直接的，这可以通过一些分布式锁(这在Redisson中很方便)来实现吗？
浏览 4修改于2020-08-06得票数 1
主页可以加载，但我不能访问任务，状态，工作者(它试图重新加载，直到所有任务都完成，然后给出can't reach错误)。以前所有的东西都可以在早期版本上运行。
浏览 0提问于2017-06-13得票数 0
随后提交少量工作的任何其他客户端都必须等到第一批任务得到充分处理后才能完成。这是一个异步系统，所以它将不会对DOS有风险。它是一个分布式系统，有大量的工作人员，所有的工作都是小块的，所以任务在系统中正确地流动。是否有更好的抽象概念可供使用？
浏览 0提问于2018-06-01得票数 8
单个批处理作业需要2小时才能完成(要处理的数据约为100万)，因此决定以分布式方式运行，其中一个任务将分布在多个工作节点上，这样它就可以在较短的时间内执行。工作流中的其他作业(都是分布式的)需要一个接一个地按顺序运行。作业是多节点分布式作业(主/从架构)，需要一个接一个地运行。 现在，我正在考虑在airflow上部署工作流。因此，在探索时，我找不到任何方法来运行分布在多台机器上的单个任务。这在气流中是可能的吗？
浏览 88提问于2021-11-23得票数 0
回答已采纳
我的应用程序(Java)随机产生一些任务，并由分布式后台线程异步使用。1.如何避免分布式消费者使用相同的任务？(关于行："consumeAll()")或减少重复计算。多次使用一个任务并不是一个错误，但在我的情况下效率较低。一个消费者和一个生产者样本：
使用者: whil
浏览 6提问于2014-05-27得票数 1
我想知道是否有一种方法可以设置RabbitMQ或Redis来处理芹菜，这样当我发送任务到队列时，它不会进入任务列表，而是进入基于任务有效负载的一组任务中，以避免重复。我的数据管道的阶段1由调度器触发，它输出阶段2的任务。任务只包含需要完成工作的id，实际数据存储在数据库中。我可以运行阶段1和阶段2任务的任何组合或顺序，而不会造成损害。如果阶段2没有足够的处理能力来处理阶段1输出的大量任务，我的任务队列就会越来越大。如果任务</
浏览 3提问于2015-05-17得票数 8
我的任务是集中控制这些任务。
一种用例是，通过ssh进入任何机器的用户必须能够以接近实时的方式控制网络上的任何进程，方法是启动和停止相关守护进程，或者重新构建和重新安装crontab。
浏览 0提问于2009-07-02得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号