CPU缓存行

  执行程序是靠运行CPU执行主存中代码&＃xff0c;但是CPU和主存的速度差异是非常大的&＃xff0c;为了降低这种差距&＃xff0c;在架构中使用了CPU缓存&＃xff0c;现在的计算机架构中普遍使用了缓存&＃xff0c;分为一级缓存&＃xff0c;二级缓存&＃xff0c;还有一些具备三级缓存&＃xff0c;我们可以看看这些组件的数据获取访问速度。

如果要了解缓存&＃xff0c;就必须要了解缓存的结构&＃xff0c;以及多个CPU核心访问缓存存在的一些问题和注意事项。

每个缓存里面都是由缓存行组成的&＃xff0c;缓存系统中是以缓存行&＃xff08;cache line&＃xff09;为单位存储的。缓存行是2的整数幂个连续字节&＃xff0c;一般为32-256个字节。最常见的缓存行大小是64个字节。当多线程修改互相独立的变量时&＃xff0c;如果这些变量共享同一个缓存行&＃xff0c;就会无意中影响彼此的性能&＃xff0c;这就是伪共享。缓存行上的写竞争是运行在SMP系统中并行线程实现可伸缩性最重要的限制因素。有人将伪共享描述成无声的性能杀手&＃xff0c;因为从代码中很难看清楚是否会出现伪共享。

图中说明了伪共享的问题。在核心1上运行的线程想更新变量X&＃xff0c;同时核心2上的线程想要更新变量Y。不幸的是&＃xff0c;这两个变量在同一个缓存行中。每个线程都要去竞争缓存行的所有权来更新变量。如果核心1获得了所有权&＃xff0c;缓存子系统将会使核心2中对应的缓存行失效。当核心2获得了所有权然后执行更新操作&＃xff0c;核心1就要使自己对应的缓存行失效。这会来来回回的经过L3缓存&＃xff0c;大大影响了性能。如果互相竞争的核心位于不同的插槽&＃xff0c;就要额外横跨插槽连接&＃xff0c;问题可能更加严重。

     处理器为了提高处理速度&＃xff0c;不直接和内存进行通讯&＃xff0c;而是先将系统内存的数据读到内部缓存&＃xff08;L1,L2或其他&＃xff09;后再进行操作&＃xff0c;但操作完之后不知道何时会写到内存&＃xff1b;如果对声明了Volatile变量进行写操作&＃xff0c;JVM就会向处理器发送一条Lock前缀的指令&＃xff0c;将这个变量所在缓存行的数据写回到系统内存。但是就算写回到内存&＃xff0c;如果其他处理器缓存的值还是旧的&＃xff0c;再执行计算操作就会有问题&＃xff0c;所以在多处理器下&＃xff0c;为了保证各个处理器的缓存是一致的&＃xff0c;就会实现缓存一致性协议&＃xff0c;每个处理器通过嗅探在总线上传播的数据来检查自己缓存的值是不是过期了&＃xff0c;当处理器发现自己缓存行对应的内存地址被修改&＃xff0c;就会将当前处理器的缓存行设置成无效状态&＃xff0c;当处理器要对这个数据进行修改操作的时候&＃xff0c;会强制重新从系统内存里把数据读到处理器缓存里。

    当多个线程对同一个缓存行访问时&＃xff0c;其中一个线程会锁住缓存行&＃xff0c;然后操作&＃xff0c;这时候其他线程没办法操作缓存行。

需要注意&＃xff0c;数据在缓存中不是以独立的项来存储的&＃xff0c;如不是一个单独的变量&＃xff0c;也不是一个单独的指针。缓存是由缓存行组成的&＃xff0c;通常是64字节&＃xff08;译注&＃xff1a;这篇文章发表时常用处理器的缓存行是64字节的&＃xff0c;比较旧的处理器缓存行是32字节&＃xff09;&＃xff0c;并且它有效地引用主内存中的一块地址。一个Java的long类型是8字节&＃xff0c;因此在一个缓存行中可以存8个long类型的变量。

如果你访问一个long数组&＃xff0c;当数组中的一个值被加载到缓存中&＃xff0c;它会额外加载另外7个。因此你能非常快地遍历这个数组。事实上&＃xff0c;你可以非常快速的遍历在连续的内存块中分配的任意数据结构。我在第一篇关于ring buffer的文章中顺便提到过这个&＃xff0c;它解释了我们的ring buffer使用数组的原因。

因此如果你数据结构中的项在内存中不是彼此相邻的&＃xff08;链表&＃xff0c;我正在关注你呢&＃xff09;&＃xff0c;你将得不到免费缓存加载所带来的优势。并且在这些数据结构中的每一个项都可能会出现缓存未命中。

不过&＃xff0c;所有这种免费加载有一个弊端。设想你的long类型的数据不是数组的一部分。设想它只是一个单独的变量。让我们称它为head&＃xff0c;这么称呼它其实没有什么原因。然后再设想在你的类中有另一个变量紧挨着它。让我们直接称它为tail。现在&＃xff0c;当你加载head到缓存的时候&＃xff0c;你也免费加载了tail。

直到你意识到tail正在被你的生产者写入&＃xff0c;而head正在被你的消费者写入。这两个变量实际上并不是密切相关的&＃xff0c;而事实上却要被两个不同内核中运行的线程所使用。

设想你的消费者更新了head的值。缓存中的值和内存中的值都被更新了&＃xff0c;而其他所有存储head的缓存行都会都会失效&＃xff0c;因为其它缓存中head不是最新值了。请记住我们必须以整个缓存行作为单位来处理&＃xff08;译注&＃xff1a;这是CPU的实现所规定的&＃xff0c;详细可参见深入分析Volatile的实现原理&＃xff09;&＃xff0c;不能只把head标记为无效。

现在如果一些正在其他内核中运行的进程只是想读tail的值&＃xff0c;整个缓存行需要从主内存重新读取。那么一个和你的消费者无关的线程读一个和head无关的值&＃xff0c;它被缓存未命中给拖慢了。

当然如果两个独立的线程同时写两个不同的值会更糟。因为每次线程对缓存行进行写操作时&＃xff0c;每个内核都要把另一个内核上的缓存块无效掉并重新读取里面的数据。你基本上是遇到两个线程之间的写冲突了&＃xff0c;尽管它们写入的是不同的变量。

这叫作“伪共享”&＃xff08;译注&＃xff1a;可以理解为错误的共享&＃xff09;&＃xff0c;因为每次你访问head你也会得到tail&＃xff0c;而且每次你访问tail&＃xff0c;你也会得到head。这一切都在后台发生&＃xff0c;并且没有任何编译警告会告诉你&＃xff0c;你正在写一个并发访问效率很低的代码。

  在Java中

        你会看到Disruptor消除这个问题&＃xff0c;至少对于缓存行大小是64字节或更少的处理器架构来说是这样的&＃xff08;译注&＃xff1a;有可能处理器的缓存行是128字节&＃xff0c;那么使用64字节填充还是会存在伪共享问题&＃xff09;,通过增加补全来确保ring buffer的序列号不会和其他东西同时存在于一个缓存行中。

public long p1, p2, p3, p4, p5, p6, p7; // cache line padding
private volatile long cursor &＃61; INITIAL_CURSOR_VALUE;
public long p8, p9, p10, p11, p12, p13, p14; // cache line padding


因此没有伪共享&＃xff0c;就没有和其它任何变量的意外冲突&＃xff0c;没有不必要的缓存未命中。

 Java8实现字节填充避免伪共享 

  JVM参数  -XX:-RestrictContended 

   &＃64;Contended 位于 sun.misc 用于注解java 属性字段&＃xff0c;自动填充字节&＃xff0c;防止伪共享

  在C语言中

   避免伪共享&＃xff0c;编译器会自动将结构体&＃xff0c;字节补全和对其&＃xff0c;对其的大小最好是缓存行的长度。

   总的来说&＃xff0c;结构体实例会和它的最宽成员一样对齐。编译器这样做因为这是保证所有成员自对齐以获得快速存取的最容易方法。

   从上面的情况可以看出&＃xff0c;在设计数据结构的时候&＃xff0c;应该尽量将只读数据与读写数据分开&＃xff0c;并具尽量将同一时间访问的数据组合在一起。这样 CPU 能一次将需要的数据读入。如&＃xff1a;

struct __a
{int id; // 不易变int factor;// 易变char name[64];// 不易变int value;// 易变
};

 这样的数据结构就很不利。

 在 X86 下&＃xff0c;可以试着修改和调整它

#define CACHE_LINE_SIZE 64 //缓存行长度
struct __a
{int id; // 不易变char name[64];// 不易变char __align[CACHE_LINE_SIZE – sizeof(int)&＃43;sizeof(name)*sizeof(name[0])%CACHE_LINE_SIZE ]int factor;// 易变int value;// 易变char __align2[CACHE_LINE_SIZE –2* sizeof(int)%CACHE_LINE_SIZE ]
};

CACHE_LINE_SIZE – sizeof(int)&＃43;sizeof(name)*sizeof(name[0])%CACHE_LINE_SIZE 看起来很不和谐&＃xff0c; CACHE_LINE_SIZE表示高速缓存行为 64Bytes 大小。 __align 用于显式对齐。这种方式是使得结构体字节对齐的大小为缓存行的大小