我用NodeJS上的MongoDB,Mongoose构建了一个管理体育比赛的应用程序。我想知道我是否正在使用最好的解决方案来快速连续地处理对大型文档(5Mb)的多个并发写入。
每个“事件”(锦标赛)都是一个包含球队列表的文档。每个活动的注册团队数量都是有上限的。因此,通常情况下,当团队注册时,我的Node JS服务器会加载事件,检查团队是否尚未达到最大数量,将团队添加到子文档中并保存事件。
问题是,一些锦标赛会让玩家疯狂地获得一席之地,你可以在开场几秒钟内让60支球队完成注册,这将导致并发错误。
例如,如果两个团队同时单击“保存”,则将在NodeJS服务器上打开两个线程(请求),这两个线程将加载事件的相同副本,修改它们,并将两个不同版本的文档保存在彼此之上。显然,这两个线程中的一个线程会出现版本错误。现在想象一下,60个团队在同一秒内注册。
第二个问题是事件文档非常大。让我们戏剧化地说,它的大小是5Mb (虽然很少,但也是可能的)。如果我每次注册都要加载、修改、写入5兆,注册系统就会停止(因为我的MongoDB在不同的服务器上)。
因此,我需要知道我是否构建了正确的解决方案,以及你们是否预见到了这方面的问题。
在我的节点服务器上,我构建了一个Singleton类(所有请求都可以访问)来管理对文档的访问。因此,如果出现请求并请求文档X,则单例将向该请求返回一个承诺,一旦该文档可供编辑,该承诺将被解析。单例然后转过身,加载文档,并通过解析它的promise来授予对第一个请求的访问权限。当请求编辑完这个文档时,它会告诉单例它已经完成了。然后,单例检查是否有其他请求队列等待编辑此文档(其他希望注册的团队)。如果是,它不会保存文档,而是解析下一个promise,允许下一个请求编辑文档。
当最后一个请求编辑完文档并且队列中没有其他请求时,单例将保存该文档并将其从内存中清除。
简而言之,单例允许系统加载文档一次,允许来自多个请求的修改,然后在匆忙结束时保存文档。这特别有用,因为文档相当大(最多5mb),并且最大限度地减少了对MongoDB服务器的读/写次数。另一个用途是,如果我们接受50个团队,并且我们收到55个请求,希望附加他们的团队,队列中的最后5个请求将考虑到活动文档已达到其团队限制,并返回“对不起,我们已满”响应。
这是管理大型文档并发写入的最佳方式吗?
发布于 2021-04-15 02:31:25
MongoDB提供了许多更新操作符,您应该在特定字段上使用这些操作符,而不是修改应用程序中的整个文档。例如,要添加到数组中,请使用https://docs.mongodb.com/manual/reference/operator/update/push/。
这样,您1)将只在每次写入时发送已更改的数据,2)避免与您的其他更改赛跑和重创。
这并不能帮助你节省服务器在每次修改文档时重写5MB文档的时间-拆分文档来解决这个问题(如果你发现它是一个问题)。
https://stackoverflow.com/questions/67094755
复制相似问题