首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >处理许多小文件时的磁盘碎片

问处理许多小文件时的磁盘碎片
EN

Server Fault用户
提问于 2010-04-19 16:04:43
回答 2查看 596关注 0票数 5

在每天的基础上,我们生成大约340万个小jpeg文件。我们还删除了大约340万张90天前的图片。到目前为止,我们已经通过以分层方式存储图像来处理这些内容。君主制是这样的:

代码语言:javascript
复制
/Year/Month/Day/Source/

这种继承性允许我们有效地删除所有来源的内容的价值天。

这些文件存储在连接到14磁盘SATA RAID6的Windows2003服务器上。

当从磁盘写入或读取磁盘时,我们已经开始出现严重的性能问题。

这可能是由于硬件的性能,但我怀疑磁盘碎片可能是罪魁祸首。

有些人建议将数据存储在数据库中,但我一直犹豫不决。另一个想法是使用某种容器文件,比如VHD之类的。

,有人有什么建议来减轻这种碎片吗?

附加信息:

平均文件大小为8-14 is。

格式化来自fsutil的信息:

代码语言:javascript
复制
NTFS Volume Serial Number :       0x2ae2ea00e2e9d05d
Version :                         3.1
Number Sectors :                  0x00000001e847ffff
Total Clusters :                  0x000000003d08ffff
Free Clusters  :                  0x000000001c1a4df0
Total Reserved :                  0x0000000000000000
Bytes Per Sector  :               512
Bytes Per Cluster :               4096
Bytes Per FileRecord Segment    : 1024
Clusters Per FileRecord Segment : 0
Mft Valid Data Length :           0x000000208f020000
Mft Start Lcn  :                  0x00000000000c0000
Mft2 Start Lcn :                  0x000000001e847fff
Mft Zone Start :                  0x0000000002163b20
Mft Zone End   :                  0x0000000007ad2000
EN

回答 2

Server Fault用户

发布于 2010-04-19 16:55:35

Diskeeper 2009 (现在2010年)在实时碎片整理方面工作良好,对性能的影响最小。不过,这是一个商业方案,因此是有代价的。我们尝试了几个免费应用程序,发现了严重的性能问题。

出卖人主页

票数 1
EN

Server Fault用户

发布于 2010-04-20 22:49:50

我从你的帖子中推测你保留了90天的图片。做一些快速的计算,看起来您需要4.28TB的存储量。I/O模式是什么样的(例如,是否有任何数据被更频繁地访问)?这些数据分布在多少卷中?在碎片整理之后,性能下降到不可接受的水平需要多长时间?

如果您不愿意对系统进行更改(引入一个数据库),那么也许您应该关注如何使用与操作系统捆绑的工具,以一种可管理的方式进行碎片整理。旋转并将数据拆分成多个较小的LUN,这样您就可以单独地对它们进行碎片整理。在您完成了X天价值的数据之后,移动到下一个LUN,并用前一个X天对卷进行碎片整理。如果不再给它写信,就不应该再引入任何碎片化了。

如果为您提供了相当大的预算,您可能会查看不受碎片影响的存储介质(如SSD)。

票数 1
EN
页面原文内容由Server Fault提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://serverfault.com/questions/133811

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档