首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何加快Mongodb插入速度?

问如何加快Mongodb插入速度?
EN

Stack Overflow用户
提问于 2014-04-01 11:18:57
回答 1查看 723关注 0票数 3

我正在尝试使用mongodb (Java编码)创建一个大数据应用程序。我的收藏由普通的文本文件组成。由于我不希望重复和文档的文本字段太大而无法创建唯一的索引,所以我决定计算每个文档文本的校验和值(MessageDigest和MD5),将该字段保存在文档中,并在该字段上创建唯一索引。

大致上,我的文档的结构如下:

{ "_id":ObjectId('5336b4942c1a99c94275e1e6')“文本”:“一些长文”校验和:“444066ed4546374238266cb9dc20c”"some_other_field":"qwertyuıop“}

因此,当我向集合中添加一个新文档时,首先通过找到带有校验和值的文档来尝试查找它是否存在。如果它存在,我更新它的(其他字段),否则我插入新文档。

这个策略奏效了!但是,在集合中的100万个文档之后,我开始获得不可接受的插入时间。车皮查找和插入都放慢了速度。我可以在1小时内插入30,000份文档!我读过有关批量插入的文章,但是如果我朝这个方向去做,我无法决定如何处理重复的记录。对加速发展的策略有什么建议吗?

EN

回答 1

Stack Overflow用户

发布于 2014-04-01 12:17:35

我认为如果您使用另一个只包含校验和update_time文件的集合,速度会快得多。当插入普通的JSON文档时,也应该插入这个简短的JSON文档:

代码语言:javascript
复制
Your normal JSON document:
{
"_id": ObjectId('5336b4942c1a99c94275e1e6')
"textval": "some long text"
"checksum": "444066ed458746374238266cb9dcd20c"
"update_time": new Date(1396220136948)
"some_other_field": "qwertyuıop"
}

The short JSON document:
{
"_id": ...
"checksum": "444066ed458746374238266cb9dcd20c"
"update_time": new Date(1396220136948)
}
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/22784291

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档