numactl和move_pages不匹配

Question

基于this question，我开发了一个简单的程序来测试页面所在的NUMA节点。

问题是，将我的程序结果与XeonE5-2698NUMA(两个v4节点)上的numactl -H进行比较会显示不同的输出。numactl -H显示(裁剪)：

available: 2 nodes (0-1)
node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59
node 1 cpus: 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79

例如，numactl说CPU20在节点1。我有以下代码：

#include <unistd.h>
#include <sys/mman.h>
#include <stdlib.h>
#include <stdio.h>
#include <numaif.h>
#include <omp.h>

int numa_node(void *ptr) {
  int status;
  int ret_code;
  if((ret_code = move_pages(0, 1, &ptr, NULL, &status, 0)) == -1) {
    perror("move_pages");
    return -1;
  }
  return status;
}

int main(int argc, char* argv[]) {
  int pgsize = getpagesize();
  printf("NUMA test(pgsize=%d)\n",pgsize);
  #pragma omp parallel firstprivate(pgsize)
  {
    if(omp_get_thread_num() == 20) {
      char *m = aligned_alloc(pgsize, pgsize);
      m[0] = 'a';
      if(mlock(m, 10) == -1) {
        perror("mlock");
      }
      else {
        int node = numa_node(m);
        printf("thread %d: node %d\n",20,node);
      }
    }
  }
}

我正在使用aligned_alloc尝试分配一个对齐的页面，这样当这个线程“接触”这个页面时，它将被映射到这个线程所在的NUMA节点(第一个接触策略)。然后我使用mlock，您可以在this question中查看它。我想我使用的是first touch，因为我没有修改任何与此相关的东西，但是，我不知道如何检查以确保这一点。

我用icc -fopenmp -lnuma编译这段代码，并在KMP_AFFINITY=granularity=fine,compact、OMP_NUM_THREADS=80和numactl -m 0,1 ./numa上运行。我之所以使用这种亲和力，是因为我认为它的赋值方式与numactl看到系统时的赋值方式相同。这将输出以下内容：

NUMA test(pgsize=4096)
thread 20: node 0

所以，这个程序说线程20在节点0，但是numactl说线程20在节点1，为什么？我希望在两个页面上都能看到相同的输出。

Answer 1

请求的亲和性设置compact将把连续的线程放置到同一核心上的相邻硬件线程(超线程)。OS cpu的编号稍后会对额外的硬件线程进行编号，因此cpu 0和40位于同一核心上。映射如下所示：

tid -> cpu
0 -> 0
1 -> 40
2 -> 1
3 -> 41
...
20 -> 10

您可以通过向KMP_AFFINITY添加,verbose来查看这一点。如果需要直接映射，可以使用GOMP_CPU_AFFINITY=0-79而不是KMP_AFFINITY设置。这应该可以在正确的NUMA节点上获得内存。