首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >pymongo插入W=2,J=True加速

问pymongo插入W=2,J=True加速
EN

Stack Overflow用户
提问于 2015-09-18 12:45:12
回答 2查看 157关注 0票数 1

我正在使用Python2.7.8和Pymongo2.7,mongoDB服务器是一个ReplicaSet组,一主两次。mognodb服务器构建在亚马逊网络服务服务器EBS:500 EBS,IOPS3000上。

我想知道有什么方法可以加速insert.when W=2,j=True使用pymongo插入一百万个文件需要很多时间,我知道如果我使用W=0它会加速,但它不安全,所以有什么建议吗?请帮帮我谢谢。

EN

回答 2

Stack Overflow用户

发布于 2015-09-18 23:26:30

已弃用设置W=0。这是较旧的MongoDB模型(3.0之前),他们不建议再使用它。

使用MongoDB作为文件存储系统也不是一个好主意;但是,如果是这样的话,您可以考虑使用GridFS。

我假设您正在尝试某种类型的批量导入,并且您现在没有很多(或任何)阅读器;在这种情况下,如果任何阅读器看到部分文档,但不是所有文档,您就不会有问题。

您有几个选项:

  • set j=False。如果数据库崩溃,MongoDB将以更快的速度返回(在文档被提交到日志之前),并且存在文档丢失的潜在风险。
  • set W=1。如果复制速度较慢,则只需等到其中一个节点(主节点)具有数据后才返回。

如果您确实需要很强的一致性要求(读者可以看到到目前为止插入的所有内容),那么这两个选项都不会有帮助。

票数 0
EN

Stack Overflow用户

发布于 2015-09-18 23:19:52

您可以使用无序或有序的bulk inserts

这大大加快了速度。也许你也可以看看我的muBulkOps,一个pymongo批量操作的包装器。

票数 -1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/32644034

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档