从BullMQ工作人员中的Google桶下载大型文件会导致失败

Question

我使用BullMQ创建了一个作业调度程序/运行程序。我有一个工作人员，在处理一个任务时，从下载一个给定的文件，然后分析它。

但是，每当要下载的文件非常大(>10 to )时，可能需要几分钟才能下载并导致错误：“作业停止超过允许的限制”错误。

const GCS = new Storage();
await GCS.bucket(bucket).file(file).download({
    destination
});

根据文档，这些工作人员被设置为“沙箱工人”，因此不应该停止工作。

为了避免停止作业，请确保您的工作人员不会让Node.js事件循环太忙，默认的最大延迟检查持续时间是30秒，因此只要您不执行超过该值的CPU操作，就不应该停止作业。另一种减少陷入停滞的工作机会的方法是使用所谓的“沙箱”处理器。在这种情况下，工作人员将产生新的独立的Node.js进程，与主进程分开运行。

根据沙箱处理器的解释，延迟错误的来源似乎是由于压倒性的CPU...but正在从GCS桶中下载一个大文件，甚至是CPU密集型操作？

由于这些工作人员在不同的过程中运行处理器，因此不会像标准工人那样容易导致作业停滞，不过，如果系统中的CPU超载，工人没有实际时间进行簿记以避免延误，这也不是完全不可能的。

如有任何建议，将不胜感激！

Answer 1

事实证明，对于非常大的文件下载，作业运行时间太长，并注册为停滞(更多信息请参见https://docs.bullmq.io/bull/important-notes )。

修复将“锁定持续时间”从默认的30秒增加到5分。

const worker = new Worker('my-queue', null, { lockDuration: 60000 });