在每天的基础上,我们生成大约340万个小jpeg文件。我们还删除了大约340万张90天前的图片。到目前为止,我们已经通过以分层方式存储图像来处理这些内容。君主制是这样的:
/Year/Month/Day/Source/这种继承性允许我们有效地删除所有来源的内容的价值天。
这些文件存储在连接到14磁盘SATA RAID6的Windows2003服务器上。
当从磁盘写入或读取磁盘时,我们已经开始出现严重的性能问题。
这可能是由于硬件的性能,但我怀疑磁盘碎片可能是罪魁祸首。
有些人建议将数据存储在数据库中,但我一直犹豫不决。另一个想法是使用某种容器文件,比如VHD之类的。
平均文件大小为8-14 is。
格式化来自fsutil的信息:
NTFS Volume Serial Number : 0x2ae2ea00e2e9d05d
Version : 3.1
Number Sectors : 0x00000001e847ffff
Total Clusters : 0x000000003d08ffff
Free Clusters : 0x000000001c1a4df0
Total Reserved : 0x0000000000000000
Bytes Per Sector : 512
Bytes Per Cluster : 4096
Bytes Per FileRecord Segment : 1024
Clusters Per FileRecord Segment : 0
Mft Valid Data Length : 0x000000208f020000
Mft Start Lcn : 0x00000000000c0000
Mft2 Start Lcn : 0x000000001e847fff
Mft Zone Start : 0x0000000002163b20
Mft Zone End : 0x0000000007ad2000发布于 2010-04-19 16:55:35
Diskeeper 2009 (现在2010年)在实时碎片整理方面工作良好,对性能的影响最小。不过,这是一个商业方案,因此是有代价的。我们尝试了几个免费应用程序,发现了严重的性能问题。
发布于 2010-04-20 22:49:50
我从你的帖子中推测你保留了90天的图片。做一些快速的计算,看起来您需要4.28TB的存储量。I/O模式是什么样的(例如,是否有任何数据被更频繁地访问)?这些数据分布在多少卷中?在碎片整理之后,性能下降到不可接受的水平需要多长时间?
如果您不愿意对系统进行更改(引入一个数据库),那么也许您应该关注如何使用与操作系统捆绑的工具,以一种可管理的方式进行碎片整理。旋转并将数据拆分成多个较小的LUN,这样您就可以单独地对它们进行碎片整理。在您完成了X天价值的数据之后,移动到下一个LUN,并用前一个X天对卷进行碎片整理。如果不再给它写信,就不应该再引入任何碎片化了。
如果为您提供了相当大的预算,您可能会查看不受碎片影响的存储介质(如SSD)。
https://serverfault.com/questions/133811
复制相似问题