首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何每次从数据库(mysql或mongodb)中选择N项?

问如何每次从数据库(mysql或mongodb)中选择N项?
EN

Stack Overflow用户
提问于 2017-02-19 20:28:13
回答 1查看 57关注 0票数 0

案例一:Mysql,pymysql

下面的代码块将生成一个生成器,如何从数据库中获取N个项目并将它们发送给某个函数,以multithreading.For为例,每次我想从数据库中选择10k个项目,总项目是1亿,因此总计数将是1亿/ 10k = 10k。

代码语言:javascript
复制
cursor.execute(sql)
for result in cursor:
     yield result

案例2:Mongodb、pymongo

代码语言:javascript
复制
for result in db.find():
  yield result

生成器是一个函数,当数据库有大量数据时,它可以节省大量内存。

我尝试的是itertool.islice,但它只返回生成器的前N项。那么对于这两种情况,你有没有更好的解决方案,每次选择N个项目呢?谢谢!

EN

回答 1

Stack Overflow用户

发布于 2017-02-19 23:21:41

在sql中使用limit 10000 * ({page} - 1),10000。对于mongo,也可以使用光标的跳过和限制功能。

然后,您可以在每个循环中批量获取10k个文档。

票数 -1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/42327188

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档