“非本机”指针会影响缓存性能吗？

Question

据我所知，硬件预取器至少会检测和获取内存中的恒定步长。此外，它可以monitor data access patterns，无论它真正的意思是什么。这让我想知道，硬件预取器是根据存储在内存中的实际数据做出决定的，还是纯粹基于程序表现出来的行为？

我这样问的原因是因为我偶尔会使用“非本机”指针作为指针。一个简单的例子是一个预先分配的数组，小整数索引这个数组而不是指针。如果我需要存储一大堆这样的“指针”，节省的内存可以很快累积起来，反过来通过使用更少的内存间接提高缓存性能。

但据我所知，这可能会干扰硬件预取器的工作方式。或者不是！

不管现实与否，我当然可以想象一个预取单元，它检查进入L1缓存的本机指针地址的缓存线，并开始将它们提取到L2或类似的东西中。在这种情况下，我的节省内存的聪明技巧突然变得不那么聪明了。

那么，现代硬件预取器到底是做什么的呢？？它们会被“非本机”指针绊倒吗？

Answer 1

链接数据结构(LDS)预取仍然是计算机体系结构中的已知问题。我不熟悉任何现代CPU真正做到这一点，但在理论上这是可能的。多年来，有几篇学术论文提出了一些变化：

1. 一种专用的HW，它可以检测获取的高速缓存线中的类似地址的值，并向这些地址发出预取。
2. 一种编译器辅助的技术，编译器在该技术中识别数据结构相关性并插入SW预取或其他提示。

这两种方法都可能会受到你的技术的影响(第一种可能会变得无用，第二种可能会在编译器足够聪明的情况下发挥作用)。

当然，您必须在这样的机器上实际运行，因此这只是理论上的，如果它对您来说工作得很好，那么您不应该改变您的实践，但这表明分析应该针对每个微体系结构和系统进行特定的分析，在某种情况下对您有帮助的东西在另一种情况下可能效率较低。

一般来说，不要只相信CPU会做或不做一些优化(除非有文档记录)，一定要检查你是否得到了预期的行为。

顺便说一句，请注意，即使HW看到内存的内容，它仍然在虚拟地址空间中- HW无论如何都必须执行某种到物理地址的转换才能使用它，因此在某种意义上不需要任何额外的开销。

一些参考书目：

• Compiler-Directed Content-Aware Prefetching for Dynamic Data Structures
• Dependence Based Prefetching for Linked Data Structures
• Guided Region Prefetching: A Cooperative Hardware/Software Approach

Answer 2

硬件预取器看不到指针，它看到的是内存地址。它不关心地址来自哪里，也不关心它在您编写的C++程序中的类型。它只查看CPU被告知从哪个地址读取或写入。

所以，索引到数组中并不是CPU以前从未遇到过的可怕的新事物。