MongoDB :读取索引而不是读取文档本身，减少扫描的对象

Question

在下面的代码中，我按日期查询并按名称排序(我没有索引日期字段听起来很奇怪，但我这样做是为了避免在内存中排序，这就是我按名称索引的原因)。如果我运行一个explain，我会得到以下结果：

-> index on name
cursor: BtreeCursor name_1
scanAndOrder: False
nscanned: 1000
nscannedObjects: 1000
n:49
millis:1

然后，如果我创建一个包含名称和日期的复合索引，我会得到以下输出：

-> index on name + date
cursor: BtreeCursor name_1_date_1
scanAndOrder: False
nscanned: 1000
nscannedObjects: 1000
n:49
millis:1

即使我的查询不包含索引或它的前缀，在我看来，在第二种情况下，索引应该能够直接从索引中读取日期字段，因此nscannedObject应该等于n= 49。实际上，所有信息都已经在索引中，扫描的文档数量应该等于返回结果的数量。这里似乎不是这样的。是我错了还是我做错了什么？

import pymongo
from pymongo import MongoClient

import datetime 
import random

def printCursorExplain(e):
    print 'cursor: ' + e['cursor'] 
    print 'scanAndOrder: ' + str(e['scanAndOrder']) 
    print 'nscanned: ' + str(e['nscanned'])
    print 'nscannedObjects: ' +  str(e['nscannedObjects'])
    print 'n:' + str(e['n'])
    print 'millis:' + str(e['millis'])
    print '---------------------------------------------------------------------------------\n'

client = MongoClient()
db = client.DBQStackOverflow


name_list = ["Sylvain", "Tweety", "Toto", "Titi", "Sylvester"]
YEAR_LIST = [2014]

def generateRandomDate():

    YYYY = YEAR_LIST[random.randint(0,len(YEAR_LIST)-1)]
    MM   = random.randint(1,12)
    DD   = random.randint(1,28)
    date = datetime.datetime(YYYY, MM, DD) 
    return date

def insert():
    for i in range(0, 1000):
        start_date = generateRandomDate()        
        name = name_list[random.randint(0,len(name_list)-1)]
        db.collection.insert( {"date": start_date, "name" :name})


insert()

YYYY = 2014
MM   = 5
DD   = 1
dateCIS = datetime.datetime(YYYY, MM, DD) 


YYYY = 2014
MM   = 5
DD   = 12
dateCIE = datetime.datetime(YYYY, MM, DD) 


queryDict =  {"date" : {"$gte": dateCIS, "$lte": dateCIE}} 
db.collection.create_index([("name", pymongo.ASCENDING)])
db.collection.create_index([("name", pymongo.ASCENDING),("date", pymongo.ASCENDING)], pymongo.ASCENDING)

print "-> index on name"
cursor1 = db.collection.find(queryDict).hint([("name", pymongo.ASCENDING)]).sort([("name", pymongo.ASCENDING)])#.limit(100)
e1 = cursor1.explain()
printCursorExplain(e1)

print "-> index on name + date"
cursor2 = db.collection.find(queryDict).hint([("name", pymongo.ASCENDING),("date", pymongo.ASCENDING)]).sort([("name", pymongo.ASCENDING)])#.limit(100)
e2 = cursor2.explain()
printCursorExplain(e2)

Answer 1

出于类似的原因，这两个索引都会导致对索引键(nscanned)和文档(nscannedObjects)进行完全扫描。

名称上的

索引

由于您是按date搜索并按name排序，因此此索引可用于按正确的排序顺序返回结果。但是date值需要与每个文档进行比较，以确定查询是否匹配。

名称+日期的

索引

name前缀仍然与您的排序顺序匹配，但是{name, date}上的复合索引不能有效地用于匹配date值，因为必须首先检查所有name值。这实际上与第一个索引的结果相同。

推荐索引

如果您是在date上查询并按name排序，那么最优的索引顺序实际上应该是{date, name}。这将使索引对于匹配date值和按name排序返回结果都很有用。

注意:通常，您不希望使用hint()命令来强制使用特定的索引(尽管我假设您在本例中这样做是为了测试结果)。如果查询优化器没有选择您期望的索引，则该索引很可能不是最佳选择。

你应该会发现这篇博客文章很有帮助：Optimizing MongoDB Compound Indexes。

Answer 2

关键是MongoDB不能使用这两个索引中的任何一个来确定哪些文档符合查询条件。它可以使用任一索引来帮助进行排序。因此，MongoDB扫描整个索引，因为这将以正确的顺序返回文档，但仍然需要拉出每个文档(nScannedObjects = 1000)以检查它是否与查询条件匹配。