我们的应用程序是内存密集型的,需要读取大量的磁盘文件。总负载可以超过3 GB。
有一个自定义的内存管理器,它使用内存映射文件来实现对如此庞大的数据的读取。只有在需要时,才会将文件映射到进程内存空间中,这样进程内存就可以得到很好的控制。但观察到的是,随着内存映射,系统缓存不断增加,直到它占用了可用的物理内存。这会导致整个系统的速度变慢。
我的问题是如何防止系统缓存占用物理内存?我试图删除文件缓冲(通过使用FILE_FLAG_NO_BUFFERING ),但这样做时,读取操作会花费相当多的时间,并会降低应用程序的性能。如何在不牺牲性能的情况下实现可伸缩性。在这种情况下使用的常用技术是什么?
我对WinXP操作系统的缓存行为没有很好的理解。任何好的链接来解释这一点也会很有帮助。
发布于 2010-10-06 21:36:42
我在一个文件备份产品上工作,所以我们经常遇到类似的场景,我们自己的文件访问会导致缓存管理器保留数据--这可能会导致内存使用量激增。
默认情况下,windows缓存管理器将尝试通过提前读取数据,并保留文件数据以备再次需要时使用。
有几个注册表项可以让您调整缓存行为,我们的一些客户在这方面取得了良好的效果。
XP的独特之处在于它有一些服务器功能,但默认情况下是针对桌面程序进行优化的,而不是缓存。您可以在XP中启用系统缓存模式,这会为缓存留出更多内存。这可能会提高性能,或者你可能已经在这样做了,而且它有一个负面的副作用!您可以阅读有关该here的内容
我不推荐自定义内存管理器,但我知道大多数重量级应用程序都有自己的缓存(Exchange、SQL)。您可以通过运行process monitor.来观察这一点
如果你想完全阻止缓存管理器使用内存缓存你的文件,你必须禁用读缓存和写缓存:
FILE_FLAG_NO_BUFFERING和FILE_FLAG_WRITE_THROUGH
您还可以向CM (随机访问,临时文件)提供其他提示,请阅读本文档中有关缓存行为的here
即使禁用缓存,您仍然可以获得良好的读取性能,但是您必须通过让自己的后台线程提前读取来模拟缓存管理器的行为
此外,我建议升级到服务器级操作系统,即使是Windows2003也将为您提供更多的缓存管理器调优选项。当然,如果您能够迁移到Windows 7/ Server 2008,您将在相同的物理资源下获得更多的性能改进,这是因为动态的分页/非分页池大小调整和工作集改进。在那个here上有一篇很好的文章
发布于 2012-06-16 03:11:54
在记事本中键入此文件并将其另存为.vbs文件。每当你意识到系统内存太低时,就运行它。系统缓存被清除并加到RAM中。我在网上找到了它,并在这里给出了它,这样它可能会对你有所帮助。此外,建议注意第一条记录不应超过实际RAM的一半。因此,如果你有1 gb的内存,在你的vbs文件中从下面的文本开始。
FreeMem=Space(240000000) <This one is to clear 512 MB ram>
FreeMem=Space(120000000) <This one is to clear 256 MB ram>
FreeMem=Space(90000000) <This one is to clear 128 MB ram>
FreeMem=Space(48000000) <This one is to clear 64 MB ram>
FreeMem=Space(20000000) <This one is to clear 52 MB ram> https://stackoverflow.com/questions/2764613
复制相似问题