存储器层次结构全景：数据存储的大金字塔长什么样

软件开发中&＃xff0c;当遇到服务端的请求响应时间长&＃xff0c;吞吐率不够的情况下&＃xff0c;在分析对应问题的时候&＃xff0c;很多时候发现主要瓶颈不在CPU&＃xff0c;而在IO。

理解存储器的层次结构

通常我们把信息和数据存储在书、文件这样的物理介质里面&＃xff0c;有了计算机之后&＃xff0c;通常把数据存储在计算机的存储器里面。

存储器系统是一个通过各种不同的方法和设备&＃xff0c;一层一层集合起来的系统。

• CPU可以比喻为计算机的大脑&＃xff0c;思考的东西好比CPU中的寄存器。寄存器是CPU本身的一部分&＃xff0c;只能存放极其有限的信息&＃xff0c;但是速度非常快&＃xff0c;和CPU同步。
• 大脑中的记忆&＃xff0c;好比CPU Cache&＃xff08;CPU 高速缓存&＃xff09;。CPU Cache用的是一种叫SRAM&＃xff08;Static Random-Access Memory 静态随机存取存储器&＃xff09;的芯片。

SRAM

之所以称为"静态"存储器&＃xff0c;是因为只要处在通电状态&＃xff0c;里面的数据就可以保持存在&＃xff0c;一旦断电&＃xff0c;里面的数据就丢失了。

在SRAM里&＃xff0c;一个比特的数据&＃xff0c;需要6-8个晶体管&＃xff0c;所以SRAM存储密度不高&＃xff0c;同样的物理空间下&＃xff0c;能存储的数据有限&＃xff0c;不过因为SRAM电路简单&＃xff0c;所以访问速度非常快。

CPU里&＃xff0c;通常会有L1、L2、L3这样的三层高速缓存。

• 每个CPU核心有一块属于自己的L1高速缓存&＃xff0c;通常分为指令缓存和数据缓存&＃xff0c;分别存放CPU使用的指令和数据。L1的cache往往就嵌入在CPU核心的内部。
• L2的Cache同样是每个CPU核心都有的&＃xff0c;不过它往往不在CPU核心的内部&＃xff0c;所以L2 Cache的访问速度会比L1稍微慢一些。
• L3 Cache&＃xff0c;通常是多个CPU核心共用的&＃xff0c;尺寸会更大一些&＃xff0c;访问速度自然也就更慢一些。

可以做以下类比

• CPU中的L1 Cache是我们的短期记忆&＃xff0c;L2/L3是长期记忆&＃xff0c;内存是我们的书架。
• 当我们自己的记忆里没有资料的时候&＃xff0c;可以从书架上拿书来看&＃xff0c;这个过程相当于数据从内存中加载到CPU寄存器和Cache中&＃xff0c;通过大脑&＃xff0c;也就是CPU通过处理和运算。

DRAM

• 内存用的芯片和Cache不同&＃xff0c;是一种叫DRAM&＃xff08;Dynamic Random Access Memory,动态随机存取存储器&＃xff09;的芯片&＃xff0c;比起SRAM&＃xff0c;它的密度更高&＃xff0c;有更大的容量&＃xff0c;比SRAM芯片便宜不少。
• DRAM被称为动态存储器&＃xff0c;是因为DRAM需要靠不断的刷新&＃xff0c;才能保持数据被存储起来。
• DRAM的一个比特&＃xff0c;只需要一个晶体管和一个电容就能存储&＃xff0c;所以DRAM再同样的物理空间下&＃xff0c;能够存储更多的数据&＃xff0c;存储密度更大。
• 因为数据是存储在电容里的&＃xff0c;电容会不断漏电&＃xff0c;所需需要定时刷新充电&＃xff0c;才能保证数据不丢失。
• DRAM的数据访问电路和刷新电路都比SRAM复杂&＃xff0c;所以延时也就更长。
  

存储器的层次结构

整个存储器的层次结构&＃xff0c;其实都类似于SRAM和DRAM在性能和价格上的差异。

• SRAM更贵&＃xff0c;速度更快。DRAM更便宜&＃xff0c;容量更大。
• 大脑CPU中的记忆 L1 Cache&＃xff0c;不仅受到成本的限制&＃xff0c;还收到物理层面的限制。
  • L1不仅昂贵&＃xff0c;其访问速度和它到CPU的距离有关
  • 芯片越大&＃xff0c;总有部分离CPU会变远。
  • 电信号传输速度受物理原理的限制&＃xff0c;没法超过光速
• 内存的空间一般都是有限的&＃xff0c;想扩大空间的话&＃xff0c;成本就会很高&＃xff0c;于是&＃xff0c;想要放下更多的书&＃xff0c;就要寻找更加廉价的解决方案。
• 通过公共图书馆来解决&＃xff0c;对于内存来说&＃xff0c;SSD&＃xff08;Solid-state drive 或 Solid-state disk&＃xff0c;固态硬盘&＃xff09; ,HDD(Hard Disk Drive&＃xff0c;硬盘)&＃xff0c;这些被称为硬盘的外部存储设备&＃xff0c;就是公共图书馆。
  

CPU Cache是从内存里加载而来的&＃xff0c;或者写回内存&＃xff0c;不会直接写回数据到磁盘&＃xff0c;也不会直接从硬盘加载数据到CPU Cache中&＃xff0c;而是先加载到内存&＃xff0c;再从内存加载到Cache中。

各个存储器只和相邻的一层存储器打交道&＃xff0c;并且随着一层层向下&＃xff0c;存储器的容量逐层增大&＃xff0c;访问速度逐层变慢&＃xff0c;而单位存储成本也逐层下降&＃xff0c;这就构成了我们的存储器层次结构。

如何权衡存储器的价格和性能

存储器不同层级之间的性能差异和价格差异&＃xff0c;都至少在一个数量级以上。

L1 Cache的访问延时是1纳秒&＃xff0c;内存的访问是100纳秒。两者价格上差了400倍。

各个存储器成本对比表格