在繁忙的循环中,一些代码连续地获取当前时间两次,并计算它们的时间间隔。时间间隔应该是小的,因为代码属于具有最高优先级(99)的SCHED_FIFO进程,并且在运行时不能被其他进程中断。
rdtsc指令用于从用户空间获取当前时间,cpuid用于序列化指令。
这些守则如下:
#define RDTSCP(u64) do { \
unsigned int hi, lo; \
__asm__ __volatile__ ("RDTSC\n\t" : "=a" (lo), "=d" (hi)); \
u64 = ((uint64_t)hi << 32) | lo; \
}while(0)
unsigned int usecs = 20; //20us
int tsum = 0;
for(long long ii = 0; ii < OUTER_LOOP; ++ii) {
for (long long jj = 0; jj < INNER_LOOP; ++jj) {
MEM_BAR;
__asm__ __volatile__ ("CPUID");
RDTSCP(begin); // get time
__asm__ __volatile__ ("CPUID");
RDTSCP(end); // get time as well
__asm__ __volatile__ ("CPUID");
MEM_BAR;
temp = end-begin;
if (temp < min) min = temp; // minimum time interval changes
if (temp > max) max = temp, flag=true; // maximum time interval changes
}
if (flag) {
printf("min: %ld\t\tmax: %ld \t(clocks) \n", min, max);
fflush(stdout);
flag=false;
}
usleep(usecs);
}在几个小时的观察中,我的个人电脑(CPU i9-9900k,3600MHz)的最大时间间隔是578112 (时钟),约160 is。这个数值是非常的IMHO。
我的问题是,为什么这两个顺序的rdtsc 指令之间有这么长的时间间隔?是什么原因造成的?
编译器似乎是无辜的,编译后的程序集代码如下:
0x5555555554fb <main+594> mfence
0x5555555554fe <main+597> cpuid
0x555555555500 <main+599> rdtsc
0x555555555502 <main+601> mov %eax,-0xe0(%rbp)
0x555555555508 <main+607> mov %edx,-0xdc(%rbp)
0x55555555550e <main+613> mov -0xdc(%rbp),%ea
0x555555555514 <main+619> shl $0x20,%ra
0x555555555518 <main+623> mov %rax,%rd
0x55555555551b <main+626> mov -0xe0(%rbp),%ea
0x555555555521 <main+632> or %rdx,%ra
0x555555555524 <main+635> mov %rax,-0xa0(%rbp)
0x55555555552b <main+642> cpuid
0x55555555552d <main+644> rdtsc
0x55555555552f <main+646> mov %eax,-0xd8(%rbp)
0x555555555535 <main+652> mov %edx,-0xd4(%rbp)
0x55555555553b <main+658> mov -0xd4(%rbp),%ea
0x555555555541 <main+664> shl $0x20,%ra
0x555555555545 <main+668> mov %rax,%rd
0x555555555548 <main+671> mov -0xd8(%rbp),%ea
0x55555555554e <main+677> or %rdx,%ra
0x555555555551 <main+680> mov %rax,-0x98(%rbp)
0x555555555558 <main+687> cpuid
0x55555555555a <main+689> mfence 发布于 2021-11-23 02:12:39
尽管具有最高的调度优先级,用户空间进程仍然可能被内核线程抢占。你可以
perf sched https://man7.org/linux/man-pages/man1/perf-sched.1.html监视内核调度器,以跟踪内核调度事件,并确定哪个线程使用内核。isolcpus将测试核心与调度程序完全隔离nohz_full的计划中断rcu_nocbs将rcu回调移动到其他核心。发布于 2022-03-24 01:14:24
在最近的进一步研究中,我进行了几次实验,发现LOC中断是连续时间获取过程中时间间隔异常大的原因。对于系统统计,即使是一个完整的无痒内核也会每隔几秒钟触发一次LOC中断,因此在一般的Linux中,这种微秒级的时间抖动似乎是不可避免的。
我为证实这一点所做的事情:
ftrace工具跟踪底层中断,发现LOC中断会中断用户程序并引起时间紧张。task-isolation内核补丁,在完全隔离的CPU核心上重新运行测试,该补丁禁用大多数中断(包括LOC中断),而这种时间间隔/抖动被排除。参考文献:
https://stackoverflow.com/questions/70074350
复制相似问题