优化超大型文件上的mmap

Question

我有一个很大的文件150 GB。我使用只读mmap，并对文件执行二进制搜索。

目前，二进制搜索的执行速度相当慢。

不过，我正在考虑下面的优化--当我检查(磁盘查找)某些值时，“围绕”该值的所有值都已经进入内存中，因为它们属于同一个磁盘块。与其跳转文件中的其他地方，我可以检查“近”值，然后跳下去。

这个优化值得去做吗？

还有如何估计磁盘块“结束”的位置。

Answer 1

您无意中发现了导致B-tree数据结构的推理线。您想象中的优化是值得做的，但是要尽可能多地利用它，您需要对磁盘上的数据进行实质性的重组，并使用比二进制搜索更复杂的算法。您可能应该查看现有的开放源码B树库，而不是从头开始实现。

因为您使用的是mmap，所以访问的最小粒度不是磁盘块大小，而是内存“页面”大小，可以用sysconf(_SC_PAGESIZE)查询。一些OSes会在随机访问文件支持的区域时读取和填充更大的内存块，但我不知道有任何可移植的方法来了解多少。您也可能从madvise(MADV_RANDOM)中获得一些好处。