如何在现代x86/amd64芯片上关闭L1,L2,L3CPU缓存？

x86/x86_64体系结构的每个现代高性能CPU都有一些数据缓存层次结构:L1,L2,有时是L3(在极少数情况下是L4),从/向主RAM加载的数据缓存在其中一些中.

有时程序员可能希望某些数据不会缓存在某些或所有缓存级别中(例如,当想要memset 16 GB的RAM并将某些数据保留在缓存中时):有一些非时间(NT)指令用于这就像MOVNTDQA(/sf/ask/17360801/ http://lwn.net/Articles/255364/)

但有没有一种编程方式(对于某些AMD或Intel CPU系列,如P3,P4,Core,Core i*,......)完全(但暂时)关闭部分或全部级别的缓存,以改变每个内存的方式访问指令(全局或某些应用程序/ RAM区域)使用内存层次结构？例如:关闭L1,关闭L1和L2？或更改每次存储器访问类型CR0 ??? SDM vol3a页的"未缓存的" UC(CD + NW位423 424,425和" 仅适用于基于处理器的三级缓存禁止标志,位在IA32_MISC_ENABLE MSR 6(可用英特尔NetBurst微体系结构) - 允许禁用和启用L3缓存,独立于L1和L2缓存.").

我认为这样的行动将有助于保护数据免受缓存侧通道攻击/泄漏,如窃取AES密钥,隐蔽缓存通道,Meltdown/Spectre.虽然这种禁用会产生巨大的性能成本.

PS:我记得多年前在一些技术新闻网站上发布的这样一个程序,但现在找不到它.将一些神奇的值写入MSR只是一个Windows exe,并使每个Windows程序运行得很慢.缓存关闭直到重新启动或直到使用"撤消"选项启动程序.

英特尔手册3A第11.5.3节提供了一种全局禁用缓存的算法:

11.5.3防止缓存

要在L1,L2和L3缓存启用并已收到缓存填充后禁用它们,请执行以下步骤:

输入no-fill缓存模式.(将控制寄存器CR0中的CD标志设置为1,将NW标志设置为0.

使用WBINVD指令刷新所有缓存.

禁用MTRR并将默认存储器类型设置为未缓存或为未缓存的存储器类型设置所有MTRR(请参见第11.11.2.1节"IA32_MTRR_DEF_TYPE MSR"中对TYPE字段和E标志的讨论的讨论).

设置CD标志后,必须刷新缓存(步骤2)以确保系统内存一致性.如果未刷新高速缓存,则仍将发生高速缓存命中读取,并且将从有效高速缓存行读取数据.

上面列出的三个独立步骤的目的解决了三个不同的要求:(i)中断新数据替换缓存中的现有数据(ii)确保缓存中的数据被逐出内存,(iii)确保后续内存引用观察UC内存类型语义.高速缓存控制硬件的不同处理器实现可以允许这三个要求的软件实现的一些变化.见下面的注释.

注意 在控制寄存器CR0中设置CD标志会修改处理器的缓存行为,如表11-5所示,但在所有处理器系列中单独设置CD标志可能不足以强制所有物理内存的有效存储器类型为UC,也不是由于不同处理器系列的硬件实现变化,它是否强制严格的内存排序.要在所有物理内存上强制使用UC内存类型和严格的内存排序,只需将所有物理内存的MTRR编程为UC内存类型或禁用所有MTRR即可.

对于Pentium 4和Intel Xeon处理器,在执行上面给出的步骤序列之后,包含WBINVD指令结束之间和MTRRS之前的代码的高速缓存行实际上已被禁用,可以保留在高速缓存层次结构中.这里,要完全从缓存中删除代码,必须在禁用MTRR后执行第二条WBINVD指令.

这是一个很长的引用,但归结为这段代码

;Step 1 - Enter no-fill mode
mov eax, cr0
or eax, 1<<30        ; Set bit CD
and eax, ~(1<<29)    ; Clear bit NW
mov cr0, eax

;Step 2 - Invalidate all the caches
wbinvd

;All memory accesses happen from/to memory now, but UC memory ordering may not be enforced still.  

;For Atom processors, we are done, UC semantic is automatically enforced.

xor eax, eax
xor edx, edx
mov ecx, IA32_MTRR_DEF_TYPE    ;MSR number is 2FFH
wrmsr

;P4 only, remove this code from the L1I
wbinvd

其中大多数不能从用户模式执行.

AMD的手册2在7.6.2节中提供了类似的算法

7.6.2高速缓存控制机制
AMD64体系结构提供了许多控制内存可缓存性的机制.这些将在以下部分中介绍.

缓存禁用.CR0寄存器的位30是高速缓存禁用位CR0.CD. 当CR0.CD清除为0时启用缓存,当CR0.CD设置为1时禁用缓存.禁用缓存时,读写访问主内存.

软件可以在缓存仍保留有效数据(或指令)时禁用缓存.如果读取或写入在CR0.CD = 1时命中L1数据高速缓存或L2高速缓存,则处理器执行以下操作:

如果缓存行处于已修改或拥有状态,则将其写回.

使缓存行无效.

执行不可高速缓存的主内存访问以读取或写入数据.

如果在CR0.CD = 1时指令获取命中L1指令高速缓存,则某些处理器模型可能会读取高速缓存的指令而不是访问主存储器.当CR0.CD = 1时,L2和L3高速缓存的确切行为取决于模型,并且可能因不同类型的存储器访问而不同.

当CR0.CD = 1时,处理器还响应缓存探测.击中高速缓存的探测器使处理器执行步骤1.仅当代表存储器写入或独占读取执行探测时,才执行步骤2(高速缓存行无效).

写入禁用.CR0寄存器的第29位是非写入禁止位CR0.NW. 在早期的x86处理器中,CR0.NW用于控制缓存写入行为,CR0.NW和CR0.CD的组合决定了缓存操作模式.

[...]

在AMD64架构的实现中,CR0.NW不用于限定CR0.CD建立的高速缓存操作模式.

这转换为此代码(非常类似于英特尔的代码):

;Step 1 - Disable the caches
mov eax, cr0
or eax, 1<<30
mov cr0, eax

;For some models we need to invalidated the L1I
wbinvd

;Step 2 - Disable speculative accesses
xor eax, eax
xor edx, edx
mov ecx, MTRRdefType  ;MSR number is 2FFH
wrmsr

高速缓存也可以选择性地禁用:

页面级别,属性位PCD(页面缓存禁用)[仅适用于Pentium Pro和Pentium II].
当两者都清楚时,使用相关性的MTTR,如果PCD被设置为疼痛

页面级别,具有PAT(页面属性表)机制.
通过填充IA32_PATwith缓存类型并使用位PAT,PCD,PWT作为3位索引,可以选择六种缓存类型中的一种(UC-,UC,WC,WT,WP,WB).

使用MTTR(固定或可变).
通过将缓存类型设置为UC或UC-用于特定物理区域.

在这些选项中,只有页面属性可以暴露给用户模式程序(例如参见本节).