首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何防止MongoDB锁定

问如何防止MongoDB锁定
EN

Stack Overflow用户
提问于 2015-07-17 01:00:47
回答 1查看 1.6K关注 0票数 0

我有一个写查询,它在很短的时间内从源读取。但是我也有一个应用程序需要从那个数据库中读取。我不需要那些新的数据。

写查询锁定数据库,阻止(通常是快速)读取查询的运行。

以下是currentOP()的结果;

代码语言:javascript
复制
{
    "inprog" : [
        {
            "opid" : 547909,
            "active" : true,
            "secs_running" : 0,
            "microsecs_running" : NumberLong(104962),
            "op" : "insert",
            "ns" : "nb.article_raw",
            "insert" : {
                "$msg" : "query not recording (too large)"
            },
            "client" : "<<IP>>:52548",
            "desc" : "conn10993",
            "threadId" : "0x7ef7ebfb2700",
            "connectionId" : 10993,
            "locks" : {
                "^" : "w",
                "^nb" : "W"
            },
            "waitingForLock" : false,
            "numYields" : 0,
            "lockStats" : {
                "timeLockedMicros" : {
                    "r" : NumberLong(0),
                    "w" : NumberLong(581)
                },
                "timeAcquiringMicros" : {
                    "r" : NumberLong(0),
                    "w" : NumberLong(15467)
                }
            }
        },
        {
            "opid" : 546673,
            "active" : true,
            "secs_running" : 48,
            "microsecs_running" : NumberLong(48720118),
            "op" : "query",
            "ns" : "nb.article_raw",
            "query" : {
                "id" : {
                    "$nin" : [ ]
                },
                "hasCompleteImage" : {
                    "$exists" : true
                },
                "date" : {
                    "$gt" : ISODate("2015-07-10T00:54:35Z")
                }
            },
            "client" : "100.36.81.202:60791",
            "desc" : "conn10979",
            "threadId" : "0x7f55de5ae700",
            "connectionId" : 10979,
            "locks" : {
                "^nb" : "R"
            },
            "waitingForLock" : true,
            "numYields" : 6611,
            "lockStats" : {
                "timeLockedMicros" : {
                    "r" : NumberLong(19244958),
                    "w" : NumberLong(0)
                },
                "timeAcquiringMicros" : {
                    "r" : NumberLong(18701993),
                    "w" : NumberLong(0)
                }
            }
        }
    ]
}

对于如何编写第一个查询,使其不锁定,有什么想法吗?编写代码通过nodeJS Mongo驱动器collection.insertOne一次写一个循环的迭代。

插入码回路

代码语言:javascript
复制
promises.push(new Promise(function(resolve) {
        collection.insertOne(obj, {}, function(err) {
            if(err) {

            }
            resolve();
        });
        z++;
}));

它就在对物体的前奏中。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2015-07-17 03:03:01

因此,您可以在这里做一些事情,但是通常您在应用程序和服务器发行版中都遇到了“体系结构”。这意味着有一些事情(或者所有的事情)需要考虑。

我只想在这里介绍一些基本知识,而不是进入“购买更多的RAM”或“获取更大的实例”游戏,并且在“扩展”之前真正专注于“扩展”方面。

智能插入

一次又一次地为项目列表调用.insertOne()并不是非常有效,而且取决于列表的大小可以真正“锁定”数据库。

无论您使用什么来进行实际的解析,我认为您确实应该看看大容量操作APi。写作不是用不正当的方式发送的,而是以“批量”的形式发送的。因此,以最简单的形式:

代码语言:javascript
复制
var bulk = collection.inititalizeUnorderedBulkOp();

listOfThings.forEach(function(obj) {
    bulk.insert(obj);
});

// But actually sends to server here
bulk.execute(function(err,response) {

});

对于非常大的列表,您可能不希望所有这些都存储在内存中,以便处理列表或“批处理”,因此应该会有一些节流。

关键是,一次向服务器发送1000个插入比1000个请求和1000个响应要好,这是一个很大的流量。此外,这还允许在“批处理”操作只获得锁的情况下进行更多的控制。如果您在服务器上反复“砰”一次请求,那么其他操作的“让渡”空间会更大一些。

可能使用辅助读取

因为您说您可以接受不是在“绝对最新”数据上的查询,那么使用ReplicaSet体系结构(您“应该”在生产中)允许您将“读取”推迟到第二次数据。

虽然次要程序是“跟踪更新”,但它们并不像接受所有初始写的主程序那样“难”。所以这里有更多的空间。

碎片分发

这里有“热点”,基本上是同时进行读和写操作的重载。分片允许您考虑传播“写负载”,通过分散写的累加碎片或“读取负载”,或者利用“写”可能不会出现在“读”在同一时间点上的“碎片”,或者通常在搜索中进行“分散收集”,并均匀地命中多个碎片。

更新存储引擎,或者至少考虑数据在哪里

因此,最终您将遇到“集合级别锁定”或“数据库级别锁定”,这取决于可用的版本。一个明显的改变是升级到MongoDB 3.x并使用具有“文档级别锁定”的有线虎引擎。

如果这是一个选项,那么至少要考虑锁级别,或者:

  • 尝试将正在读取的内容写入另一个集合,并且只“定期”更新“读取集合”。
  • 或者,在数据库容器级别执行完全相同的操作。

这里的一切都是同一主题的变化,即“减少开销”和“尽可能不信任负载”。因此,我至少要先实现批处理插入,因为总有收获的。

然后查看这里的其他选项(不一定按照显示的顺序,而是在切分之前设置副本),并尝试获取您的记录之间的“冲突”级别。

另外,看一下“索引”,如果你有很多索引,它会减缓写的速度。人们通常比实际需要的索引更多,所以也要注意这一点。

票数 4
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/31466922

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档