首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Linux下的有效文件更新

问Linux下的有效文件更新
EN

Server Fault用户
提问于 2011-11-17 20:07:50
回答 3查看 66关注 0票数 1

在Linux下的高性能设置(许多并发更新)中,这是更新磁盘上30k文件的最有效方法:

  1. 只需更新相应的文件

  1. 删除旧文件并保存新文件

我最关心的是磁盘访问时间,但处理器负载也可能是这里的一个因素。

EN

回答 3

Server Fault用户

回答已采纳

发布于 2011-11-17 20:55:40

您正在使用的磁盘子系统和文件系统将在这里产生巨大的影响。事实上,有许多不同的可能结果,您可能应该对其进行基准测试。然而:

  • 请记住,对于SATA驱动器来说,真正的同步IOs仅限于100个IOPS,对于SAS驱动器是200个IOPS,并且SSD的大小从10个IOPS到10000不等。将IOPS的数量乘以数据驱动器的数量。
  • 现代文件系统将把写操作聚在一起。正确的文件系统选择和详细调优将将结果更改10到100倍。
  • 现代存储控制器可以缓存写操作。适当的回写缓存设置将再次将结果更改10到1000倍.

因此,适当的硬件(带有WB缓存的真正RAID控制器,SSD)、适当的软件(现代文件系统、ext3绝对不可能,我会使用xfs,但ext4是一个选项)和适当的调优(测试各种内核IO调度器、IO大小等设置)将产生巨大的影响。

票数 2
EN

Server Fault用户

发布于 2011-11-17 21:23:13

如果您正在大量更新它,那么文件内容陈旧就不太可能成为您的问题。如果是这样的话,把它放在tmpfs上,在更新时截断文件,然后重写到其中。这将是最便宜的方法,因为它不太可能使用磁盘。

下一个最接近的方法是截断/写入具有noatime挂载选项集并关闭日志记录的文件系统。但是,如果你崩溃了,因为你可能会丢失数据,那也是很危险的。

从那以后,日记又打开了。

请记住,linux缓冲区以确定的间隔写入和同步到磁盘,因此您通常不会从I/O的角度“感受”写入的影响(除非它非常繁重的写入,但这是可调的)。您也可以更改同步到磁盘的条件,以便在同步到磁盘之前很长一段时间内让写缓冲区填充quie。

如果你做了一些很聪明的事..。使用fallocate为文件预先分配空间,这将是文件的最大可能值。然后,mmap打开文件,将其直接读取到内存中。然后重写将是近瞬间(但有损,如果你有电力损失)。然后,您可以通过msync调用控制何时刷新回磁盘。

票数 2
EN

Server Fault用户

发布于 2011-11-17 20:19:34

将平面文件(而不是数据库文件)和Pros和Cons相加,这两种方法实际上都是:

  1. 如果只是简单地覆盖文件的内容,那么肯定会阻止重新分配的步骤。所以你可以在那里节省一点时间。然而,零件的放置可能不是最佳的。
  2. 根据磁盘碎片的不同,您可能会得到更好的数据放置位置。但是,由于必须分配空间,这会稍微慢一些,如果您是在一个更安全的环境中运行,那么在分配之前需要时间将块归零。
票数 1
EN
页面原文内容由Server Fault提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://serverfault.com/questions/332110

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档