手动阅读mongodump

Question

我有一个由mongodump实用工具创建的大型转储文件，例如"test.dump“。我希望从这个转储中获得一个确切的集合，并手动将其读取到内存中，以便作为有效的BSON文档进行进一步处理。我无法在内存中加载完全转储，因为它的大小。

我不需要将任何东西物理恢复到mongo实例！我基本上都没有启动和运行它们。因此，只有在能够帮助我将集合从转储文件读取到内存的情况下，mongorestore实用程序才是一种解决方案。

我使用的是Python3和pymongo，但如果需要，也可以导入其他第三方库，或者启动任何带有stdout结果的CLI实用程序。

Answer 1

我不熟悉任何可以从转储文件中提取集合的现成工具。这就是说：

• AWS提供x1e.32xlarge实例类型，内存接近4 TB。您的转储exactly?
• Surely有多大最简单的解决方案是将转储加载到MongoDB部署中(如果要转储回一个集合，则不需要太多内存或其他资源)。现在硬件很便宜，BSON格式
• 并不是很复杂。我希望您需要自己编写工具，但如果转储实际上是有效的BSON，您可以使用BSON手动遍历它，读取每个MongoDB驱动程序中的代码。

Answer 2

在mongorestore上使用--nsInclude标志只恢复您感兴趣的一个集合。例如：

mongorestore --nsInclude=<DatabaseName>.<CollectionName>