我正在尝试使用mongodb (Java编码)创建一个大数据应用程序。我的收藏由普通的文本文件组成。由于我不希望重复和文档的文本字段太大而无法创建唯一的索引,所以我决定计算每个文档文本的校验和值(MessageDigest和MD5),将该字段保存在文档中,并在该字段上创建唯一索引。
大致上,我的文档的结构如下:
{ "_id":ObjectId('5336b4942c1a99c94275e1e6')“文本”:“一些长文”校验和:“444066ed4546374238266cb9dc20c”"some_other_field":"qwertyuıop“}
因此,当我向集合中添加一个新文档时,首先通过找到带有校验和值的文档来尝试查找它是否存在。如果它存在,我更新它的(其他字段),否则我插入新文档。
这个策略奏效了!但是,在集合中的100万个文档之后,我开始获得不可接受的插入时间。车皮查找和插入都放慢了速度。我可以在1小时内插入30,000份文档!我读过有关批量插入的文章,但是如果我朝这个方向去做,我无法决定如何处理重复的记录。对加速发展的策略有什么建议吗?
发布于 2014-04-01 12:17:35
我认为如果您使用另一个只包含校验和update_time文件的集合,速度会快得多。当插入普通的JSON文档时,也应该插入这个简短的JSON文档:
Your normal JSON document:
{
"_id": ObjectId('5336b4942c1a99c94275e1e6')
"textval": "some long text"
"checksum": "444066ed458746374238266cb9dcd20c"
"update_time": new Date(1396220136948)
"some_other_field": "qwertyuıop"
}
The short JSON document:
{
"_id": ...
"checksum": "444066ed458746374238266cb9dcd20c"
"update_time": new Date(1396220136948)
}https://stackoverflow.com/questions/22784291
复制相似问题