CouchDB数据复制

Question

我在CouchDB中存储了30 GB的twitter数据。我的目标是在java中处理每条推文，但是java程序一次不能保存这么大的数据。为了处理整个数据集，我计划在CouchDb支持的过滤复制的帮助下，将整个数据集划分为较小的数据集。但是，由于我是couchDB新手，我在这方面面临很多问题。任何更好的想法都是值得欢迎的。谢谢。

Answer 1

您始终可以查询couchdb以获得足够小的数据集，因此不应该将子集复制到较小的数据库中。有关从couchdb获取分页结果的方法，请参阅this stackoverflow answer。您甚至可以使用couchdb本身处理map/reduce，但这取决于您的问题。

Answer 2

根据查询的复杂性和处理数据集时所做的更改，您应该可以处理一个实例。

作为前面的海报，您可以使用分页的结果，我倾向于做一些不同的事情：

• 我有一份社会喜欢的文件。后者总是引用一个URL，我想尝试每2-3个小时更新一次。
• 我有一个视图，按上一次更新请求和最后一次更新的时间对URL进行排序。
• 我对此视图进行了查询，以便排除在30分钟内提出请求或不到2小时前已更新的文章。
• 在对作业进行排队时，我使用兔子MQ，如果这些作业在30分钟内没有被拾取，它们就过期了。