案例一:Mysql,pymysql
下面的代码块将生成一个生成器,如何从数据库中获取N个项目并将它们发送给某个函数,以multithreading.For为例,每次我想从数据库中选择10k个项目,总项目是1亿,因此总计数将是1亿/ 10k = 10k。
cursor.execute(sql)
for result in cursor:
yield result案例2:Mongodb、pymongo
for result in db.find():
yield result生成器是一个函数,当数据库有大量数据时,它可以节省大量内存。
我尝试的是itertool.islice,但它只返回生成器的前N项。那么对于这两种情况,你有没有更好的解决方案,每次选择N个项目呢?谢谢!
发布于 2017-02-19 23:21:41
在sql中使用limit 10000 * ({page} - 1),10000。对于mongo,也可以使用光标的跳过和限制功能。
然后,您可以在每个循环中批量获取10k个文档。
https://stackoverflow.com/questions/42327188
复制相似问题