在Linux下的高性能设置(许多并发更新)中,这是更新磁盘上30k文件的最有效方法:
我最关心的是磁盘访问时间,但处理器负载也可能是这里的一个因素。
发布于 2011-11-17 20:55:40
您正在使用的磁盘子系统和文件系统将在这里产生巨大的影响。事实上,有许多不同的可能结果,您可能应该对其进行基准测试。然而:
因此,适当的硬件(带有WB缓存的真正RAID控制器,SSD)、适当的软件(现代文件系统、ext3绝对不可能,我会使用xfs,但ext4是一个选项)和适当的调优(测试各种内核IO调度器、IO大小等设置)将产生巨大的影响。
发布于 2011-11-17 21:23:13
如果您正在大量更新它,那么文件内容陈旧就不太可能成为您的问题。如果是这样的话,把它放在tmpfs上,在更新时截断文件,然后重写到其中。这将是最便宜的方法,因为它不太可能使用磁盘。
下一个最接近的方法是截断/写入具有noatime挂载选项集并关闭日志记录的文件系统。但是,如果你崩溃了,因为你可能会丢失数据,那也是很危险的。
从那以后,日记又打开了。
请记住,linux缓冲区以确定的间隔写入和同步到磁盘,因此您通常不会从I/O的角度“感受”写入的影响(除非它非常繁重的写入,但这是可调的)。您也可以更改同步到磁盘的条件,以便在同步到磁盘之前很长一段时间内让写缓冲区填充quie。
如果你做了一些很聪明的事..。使用fallocate为文件预先分配空间,这将是文件的最大可能值。然后,mmap打开文件,将其直接读取到内存中。然后重写将是近瞬间(但有损,如果你有电力损失)。然后,您可以通过msync调用控制何时刷新回磁盘。
发布于 2011-11-17 20:19:34
将平面文件(而不是数据库文件)和Pros和Cons相加,这两种方法实际上都是:
https://serverfault.com/questions/332110
复制相似问题