在没有标准java库的情况下，使用较低RAM大小的大容量数据处理

Question

在其中一次技术讨论中，我被问到了以下场景的解决方案，而不使用任何处理类似情况的标准java库。

1. 如何处理一个不适合JVM
2. 可用内存的数组?如何处理一个大文件，比如20 gb，它不适合可用内存。

我可能会想到以下的解决方案

使用length/4)

• original文件对数组进行ex 4迭代，可以使用命令将数组分割成多个部分(或者在各自的操作系统环境中类似)。处理单个较小的文件并生成中间结果(例如，数据聚合)。一旦完成了单独的文件处理，然后根据中间结果文件的最终大小，在一次执行中处理所有结果文件，或者再次应用迭代处理。

不过，我想知道是否有更好的方法。此外，如果这些问题不适合这个论坛，请告诉我，我会删除这个问题。虽然我找到了一些google文章中的一个解决方案，但它谈到了一些库已经提供的解决方案，因此在这里发布。

Answer 1

一个解决方案可以是堆外内存。可以映射到直接内存或磁盘。你可以在这里得到一些灵感，https://mechanical-sympathy.blogspot.com/2012/10/compact-off-heap-structurestuples-in.html