首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >内存映射文件(本机或MappedByteBuffer )与普通ol‘FileOutputStream的性能/稳定性

问内存映射文件(本机或MappedByteBuffer )与普通ol‘FileOutputStream的性能/稳定性
EN

Stack Overflow用户
提问于 2009-02-11 15:21:08
回答 7查看 8.8K关注 0票数 11

我支持使用平面文件(纯文本)实现持久化的遗留Java应用程序。由于应用程序的性质,这些文件的大小可以达到每天1000 MB,并且通常限制应用程序性能的因素是文件IO。目前,应用程序使用普通的ol‘java.io.FileOutputStream将数据写入磁盘。

最近,我们有几位开发人员断言,使用用本机代码(C/C++)实现并通过JNI访问的内存映射文件将提供更好的性能。然而,FileOutputStream已经为其核心方法(即写(byte[]))使用了本地方法,因此在没有确凿的数据或至少是轶事证据的情况下,它似乎是一个脆弱的假设。

我对此有几个问题:

  1. 这个说法真的是真的吗?与Java的相比,内存映射文件总是提供更快的IO吗?
  2. 从MappedByteBuffer访问的类FileChannel是否提供了与通过JNI访问的本机内存映射文件库相同的功能?MappedByteBuffer缺少什么可能导致您使用JNI解决方案?
  3. 在生产应用程序中为磁盘IO使用内存映射文件的风险是什么?也就是说,具有连续正常运行时间且重新启动最少的应用程序(每月最多一次)。来自生产应用程序(Java或其他方面)的真实轶事优先考虑。

问题3很重要--我可以通过编写一个使用上面描述的各种选项来测试IO的“玩具”应用程序来部分地回答这个问题,但我希望能有真实的轶事/数据来讨论。

编辑澄清--每天运行,应用程序创建多个文件,大小从100 in到1G不等。总之,应用程序可能每天要写出多组数据。

EN

回答 7

Stack Overflow用户

回答已采纳

发布于 2009-02-11 17:52:20

您可以通过检查您的数据在写过程中是如何缓冲的,从而加快速度。这往往是特定于应用程序的,因为您需要了解预期的数据写入模式。如果数据一致性很重要,这里就会有权衡。

如果您只是从应用程序将新数据写入磁盘,那么内存映射I/O可能不会有多大帮助。我看不出有任何理由您会想要投入时间在一些自定义编码的原生解决方案。从您到目前为止所提供的内容来看,对于您的应用程序来说,这似乎太复杂了。

如果您确信确实需要更好的I/O性能--或者在您的情况下只需要O性能,我将研究一个硬件解决方案,比如调优磁盘阵列。从业务角度看,在问题上投入更多的硬件往往比花费更多的时间优化软件更具有成本效益。它也通常更快的实现和更可靠。

一般来说,在软件优化方面存在许多缺陷。您将在应用程序中引入新的问题类型。您可能会遇到内存问题/ GC重击,这将导致更多的维护/调优。最糟糕的是,在投入生产之前,这些问题中的许多都很难测试。

如果它是我的应用程序,我可能会坚持使用FileOutputStream和一些可能的调优缓冲。在那之后,我会使用更多硬件的时间荣幸的解决方案。

票数 4
EN

Stack Overflow用户

发布于 2009-02-11 16:10:49

内存映射I/O不会使磁盘运行得更快(!)。对于线性访问来说,这似乎有点毫无意义。

NIO映射缓冲区是真实的(通常关于任何合理实现的警告)。

与其他NIO直接分配缓冲区一样,缓冲区不是正常内存,无法高效地获得GCed。如果您创建了其中的许多,您可能会发现您没有耗尽Java堆的内存/地址空间。这显然是一个长期运行的过程的担忧。

票数 6
EN

Stack Overflow用户

发布于 2009-02-11 15:52:49

根据我的经验,在实时和持久性用例中,内存映射文件比普通文件访问性能要好得多。我主要是在Windows上使用C++,但是Linux的性能是相似的,而且您计划无论如何使用JNI,所以我认为它适用于您的问题。

有关构建在内存映射文件上的持久性引擎的示例,请参阅梅塔基特。我在一个应用程序中使用了它,在这个应用程序中,对象是内存映射数据的简单视图,引擎负责窗帘后面的所有映射。这既快速又节省内存(至少与以前版本使用的传统方法相比),我们免费获得了提交/回滚事务。

在另一个项目中,我不得不编写多播网络应用程序。数据按随机顺序发送,以尽量减少连续丢包的影响(结合FEC和分块方案)。此外,数据可能会超过地址空间(视频文件大于2Gb),因此内存分配是不可能的。在服务器端,文件部分按需映射内存,网络层直接从这些视图中选择数据;因此内存使用率非常低。在接收方,无法预测接收数据包的顺序,因此必须在目标文件上保持有限数量的活动视图,并将数据直接复制到这些视图中。当必须将数据包放入未映射的区域时,最老的视图被取消映射(并最终被系统刷新到文件中),并被目标区域上的新视图所取代。性能突出,特别是因为该系统在将数据作为后台任务提交方面做得很好,并且很容易满足实时限制。

从那时起,我就确信,即使是最好的精心设计的软件方案也无法通过内存映射文件胜过系统的默认I/O策略,因为系统比用户空间应用程序更了解何时以及如何编写数据。另外,重要的是要知道,在处理大数据时,内存映射是必须的,因为数据从未被分配(因此消耗内存),而是动态地映射到地址空间,并由系统的虚拟内存管理器管理,而虚拟内存管理器总是比堆更快。因此,系统总是最优地使用内存,并在需要时在应用程序的后台提交数据,而不会对其产生影响。

希望能帮上忙。

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/537295

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档