我有一个写查询,它在很短的时间内从源读取。但是我也有一个应用程序需要从那个数据库中读取。我不需要那些新的数据。
写查询锁定数据库,阻止(通常是快速)读取查询的运行。
以下是currentOP()的结果;
{
"inprog" : [
{
"opid" : 547909,
"active" : true,
"secs_running" : 0,
"microsecs_running" : NumberLong(104962),
"op" : "insert",
"ns" : "nb.article_raw",
"insert" : {
"$msg" : "query not recording (too large)"
},
"client" : "<<IP>>:52548",
"desc" : "conn10993",
"threadId" : "0x7ef7ebfb2700",
"connectionId" : 10993,
"locks" : {
"^" : "w",
"^nb" : "W"
},
"waitingForLock" : false,
"numYields" : 0,
"lockStats" : {
"timeLockedMicros" : {
"r" : NumberLong(0),
"w" : NumberLong(581)
},
"timeAcquiringMicros" : {
"r" : NumberLong(0),
"w" : NumberLong(15467)
}
}
},
{
"opid" : 546673,
"active" : true,
"secs_running" : 48,
"microsecs_running" : NumberLong(48720118),
"op" : "query",
"ns" : "nb.article_raw",
"query" : {
"id" : {
"$nin" : [ ]
},
"hasCompleteImage" : {
"$exists" : true
},
"date" : {
"$gt" : ISODate("2015-07-10T00:54:35Z")
}
},
"client" : "100.36.81.202:60791",
"desc" : "conn10979",
"threadId" : "0x7f55de5ae700",
"connectionId" : 10979,
"locks" : {
"^nb" : "R"
},
"waitingForLock" : true,
"numYields" : 6611,
"lockStats" : {
"timeLockedMicros" : {
"r" : NumberLong(19244958),
"w" : NumberLong(0)
},
"timeAcquiringMicros" : {
"r" : NumberLong(18701993),
"w" : NumberLong(0)
}
}
}
]
}对于如何编写第一个查询,使其不锁定,有什么想法吗?编写代码通过nodeJS Mongo驱动器collection.insertOne一次写一个循环的迭代。
插入码回路
promises.push(new Promise(function(resolve) {
collection.insertOne(obj, {}, function(err) {
if(err) {
}
resolve();
});
z++;
}));它就在对物体的前奏中。
发布于 2015-07-17 03:03:01
因此,您可以在这里做一些事情,但是通常您在应用程序和服务器发行版中都遇到了“体系结构”。这意味着有一些事情(或者所有的事情)需要考虑。
我只想在这里介绍一些基本知识,而不是进入“购买更多的RAM”或“获取更大的实例”游戏,并且在“扩展”之前真正专注于“扩展”方面。
智能插入
一次又一次地为项目列表调用.insertOne()并不是非常有效,而且取决于列表的大小可以真正“锁定”数据库。
无论您使用什么来进行实际的解析,我认为您确实应该看看大容量操作APi。写作不是用不正当的方式发送的,而是以“批量”的形式发送的。因此,以最简单的形式:
var bulk = collection.inititalizeUnorderedBulkOp();
listOfThings.forEach(function(obj) {
bulk.insert(obj);
});
// But actually sends to server here
bulk.execute(function(err,response) {
});对于非常大的列表,您可能不希望所有这些都存储在内存中,以便处理列表或“批处理”,因此应该会有一些节流。
关键是,一次向服务器发送1000个插入比1000个请求和1000个响应要好,这是一个很大的流量。此外,这还允许在“批处理”操作只获得锁的情况下进行更多的控制。如果您在服务器上反复“砰”一次请求,那么其他操作的“让渡”空间会更大一些。
可能使用辅助读取
因为您说您可以接受不是在“绝对最新”数据上的查询,那么使用ReplicaSet体系结构(您“应该”在生产中)允许您将“读取”推迟到第二次数据。
虽然次要程序是“跟踪更新”,但它们并不像接受所有初始写的主程序那样“难”。所以这里有更多的空间。
碎片分发
这里有“热点”,基本上是同时进行读和写操作的重载。分片允许您考虑传播“写负载”,通过分散写的累加碎片或“读取负载”,或者利用“写”可能不会出现在“读”在同一时间点上的“碎片”,或者通常在搜索中进行“分散收集”,并均匀地命中多个碎片。
更新存储引擎,或者至少考虑数据在哪里
因此,最终您将遇到“集合级别锁定”或“数据库级别锁定”,这取决于可用的版本。一个明显的改变是升级到MongoDB 3.x并使用具有“文档级别锁定”的有线虎引擎。
如果这是一个选项,那么至少要考虑锁级别,或者:
这里的一切都是同一主题的变化,即“减少开销”和“尽可能不信任负载”。因此,我至少要先实现批处理插入,因为总有收获的。
然后查看这里的其他选项(不一定按照显示的顺序,而是在切分之前设置副本),并尝试获取您的记录之间的“冲突”级别。
另外,看一下“索引”,如果你有很多索引,它会减缓写的速度。人们通常比实际需要的索引更多,所以也要注意这一点。
https://stackoverflow.com/questions/31466922
复制相似问题