Redis MGET性能

Question

我正在尝试从redis库加载使用mget(r.keys())的redis数据库中的所有值。在db中有接近100 k的密钥，每个值对的大小为40 db。在一台内存超过64 to的windows机器上，这需要近38秒的时间。

我已经加载了100 shown，将numpy数组转储到redis数据库中，并运行下面所示的代码来捕获读取数据所需的时间。

import redis
import time
start=time.time()
r=redis.StrictRedis(host='localhost',port=6379,db=0)
test=r.mget(r.keys())
print(time.time()-start)

在一台有>50 of空闲RAM的windows机器上，所花费的时间是38秒。我在运行时检查了系统性能，没有瓶颈。我期望更快的阅读性能，但是有人可以确认这是预期的行为还是我做错了什么。

Answer 1

不建议使用r.keys()，应该考虑使用scan()。

通过调用keys()，您基本上是要求Redis生成所有键的列表，并将它们返回给客户端，这是一个长期的阻塞操作。

然后，通过调用r.mget()，将包含100 k键的所有列表发送回Redis，并要求它生成所有散列的一个大结果。

我建议您切换到使用scan()并对来自Redis的结果进行批处理。最后，一旦您进入批处理，以避免等待每批返回之前，您要求下一批，您可能想使用对线。