我正在写一个关于页面错误的文档,并试图获得一些具体的数字,所以我写了一个简单的程序,可以读取12*1024*1024字节的数据。简单:
int main()
{
FILE*in = fopen("data.bin", "rb");
int i;
int total=0;
for(i=0; i<1024*1024*12; i++)
total += fgetc(in);
printf("%d\n", total);
}是的,它会遍历并读取整个文件。问题是,我需要在此过程中(12M/8k)触发1536次的dtrace探测器。即使我计算了所有的fbt:mach_kernel:vm_fault*:探测器和所有的vminfo:探测器,我也没有达到500个,所以我知道我没有找到正确的探测器。
有人知道我在哪里可以找到当磁盘上的页面出错时触发的dtrace探测器吗?
更新:
如果问题是在stdio函数中进行了一些智能的预取,我尝试了以下方法:
int main()
{
int in = open("data.bin", O_RDONLY | O_NONBLOCK);
int i;
int total=0;
char buf[128];
for(i=0; i<1024*1024*12; i++)
{
read(in, buf, 1);
total += buf[0];
}
printf("%d\n", total);
}这个版本的运行时间要长得多(42s实时,其中10s是用户的,其余的是系统时间-页面错误,我猜),但仍然产生了我预期的五分之一的错误。
对于好奇的人来说,时间的增加并不是由于循环开销和强制转换(char to int.)执行这些操作的代码版本只需要.07秒。
发布于 2010-08-14 04:03:56
不是一个直接的答案,但看起来您将磁盘读取和页面错误等同起来。它们不一定是相同的。在您的代码中,您正在将文件中的数据读取到一个小的用户内存块中,因此I/O系统可以以它认为合适的任何方式和大小将文件读取到缓冲区/VM缓存中。我可能错了,我不知道达尔文是怎么做到的。
我认为更可靠的测试是将整个文件mmap(2)到进程内存中,然后去触摸每一页就是那个空间。
发布于 2010-11-30 12:24:11
我最近也遇到过同样的情况。我现在没有可用的DTrace脚本或测试程序,但我将给您以下建议:
1.)接触Amit Singh所著的OS内部原理,并阅读关于虚拟内存的第8.3节(这将使您在选择DTrace探针时获得正确的参考框架)。
2.)使用Brendan Gregg / Jim Mauro提供的Solaris性能和工具。请阅读关于虚拟内存的部分,并密切关注使用vminfo提供程序的示例DTrace脚本。
3.)OS肯定是从文件系统中预取了大量的页面,并且您的测试程序正在进行这种优化(因为您是按顺序读取的)。有趣的是,Solaris并非如此。尝试随机访问大数组以阻止预取。
发布于 2010-11-19 00:47:30
假设操作系统将在每个被触摸的页面中作为单独的操作出错(因此,如果您触摸N个页面,您将看到DTrace探测器触发N次)是有缺陷的;大多数UN*X将执行某种类型的readahead或预错,并且您不太可能获得与页面完全相同的调用次数。即使您直接使用mmap(),也是如此。
确切的比率也可能取决于文件系统,因为readahead和页面集群的实现和阈值对于所有文件系统都不太可能是相同的。
如果直接使用mmap,然后应用with (MADV_DONTNEED)或类似的应用程序和/或使用msync(MS_INVALIDATE)清除整个范围,则可能会强制使用每页错误策略。
https://stackoverflow.com/questions/3349185
复制相似问题