大文件内存管理

Question

我正在寻找关于如何处理访问大型(由:大于可寻址内存)文件/块设备透明和明智地在我的库中访问的帮助。假设我们在32位架构上有一个512 an的块设备。512 to比我们在32位架构上所能处理的要多得多，使用mmap()来管理内存中设备/文件的部分是我想避免的事情。

我想要实现的是，获取作为64位数字/偏移的块，这些块是任意的，但每个设备的大小是静态的(512字节、4K、8K、64 8K等等)。调用方应该只获取内存地址，而不需要考虑释放内存或将实际内容加载到内存中。

我在想一个机制如下：

• 类似于接受偏移量(块号)的void* get_file_address(unit64_t blk_offset)调用，检查这个块是否已经映射，如果没有读取，则映射它。
• 某些结构，可以跟踪对块的访问计数(每次get_file_address调用都会更新)
• 内存管理器，如果内存不足，并且开始卸载以前提到的结构中很少使用的块，则可以使用该管理器。

最后一点让我很恼火:一个人自己写一个记忆管理器似乎不明智。另外，我肯定我不是第一个遇到这个问题的人。

那么，是否有任何解决方案/库/代码片段已经帮助管理这样或类似的情况？我对Win，Linux，*BSD或OS的解决方案很满意。

Answer 1

我会使用“框架mmap”和“大型文件支持”，这是Linux长期以来的一部分。从维基百科文章开始，然后转到技术细节在SuSE网站内。

还有一些例子 online和这里在堆栈过流上的一些答案。我不认为你能很容易地找到一些预先煮熟的图书馆。正如上面的链接所示，处理大型多媒体文件的软件的源代码可能会有所帮助，它们的“框架”特性可能会导致一些有趣的片段。