数据中心_数据中心硬件架构拆解分析

内容来自&＃xff1a;全栈云技术架构&＃xff0c;《IDC系列报告全集》 下载链接&＃xff1a;IDC系列报告全集

IDC系列报告一&＃xff1a;数字产业基石&＃xff0c;关注核心IDC企业

IDC系列报告二&＃xff1a;还原IDC行业的真实盈利能力

IDC系列报告三&＃xff1a;数据中心中各类IT硬件占比拆分

IDC系列报告四&＃xff1a;公募REITs政策助力&＃xff0c;IDC如虎添翼

IDC系列报告五&＃xff1a;流量巨头共舞&＃xff0c;尽享景气红利

IDC系列报告六&＃xff1a;从DCF看IDC行业的价值

本文参考&＃xff0c;叶脊架构更加适应超大型数据中心发展趋势&＃xff0c;并拉动高速光模块及网络设备不断升级。

1&＃xff09;叶脊架构最早 Facebook 提出&＃xff0c;由于其更加适应全球超大型数据中心发展趋势&＃xff0c;现在广泛应用于全球各大数据中心。

2&＃xff09;叶脊架构可以划分为机柜层、Leaf 层和 Spine 层&＃xff0c;所用 IT 设备分别为&＃xff0c;机柜层&＃xff08;服务器、ToR 交换机、光模块&＃xff09;&＃xff1b;Leaf 层&＃xff08;Leaf 交换机、光模块&＃xff09;&＃xff1b;Spine 层&＃xff1a;&＃xff08;Spine交换机、光模块&＃xff09;。

3&＃xff09;叶脊架构主要以 Server 到 Server 之间互联流量为主&＃xff0c;为了实现内部互联&＃xff0c;如机柜间互联以及 Leaf-Spine 互联的短距高速高模块需求大幅增加。而 Server 到 Spine 交换机流量压力得到很大缓解&＃xff0c;数据中心设计往往向上也呈现一定的收敛比。与此同时&＃xff0c;交换机也伴随升级&＃xff1a;端口数量越来越多&＃xff0c;芯片转发速率越来越高。

1、初识叶脊架构

Facebook 于 2014 年提出一种新兴的网络架构&＃xff0c;即叶脊架构&＃xff08;Spine-Leaf&＃xff09;。叶脊架构较传统网络架构相比&＃xff0c;数据交换和吞吐能力更强&＃xff0c;网络也更加扁平化和密集。目前已经成为全球的云计算/互联网公司&＃xff0c;包括国内的阿里腾讯等&＃xff0c;数据中心的主流部署方式。

为了更加清晰的拆分云计算企业的CAPEX 结构&＃xff0c;首先我们需要了解叶脊架构的构成。以 Facebook 数据中心为例&＃xff0c;自下而上可以划分为&＃xff1a;机柜层、Leaf 层、Spine 层。

机柜层&＃xff1a;机柜层是整个网络拓扑架构中最底层的结构&＃xff0c;用于放置服务器&＃xff0c;通常来说单机柜可以放置 20-24 台标准服务器。机柜内部的服务器互联通过机柜顶层的交换机&＃xff0c;该交换机也被称为 ToR&＃xff08;Top of Rack&＃xff09;交换机。实际上 TOR 交换机既可以部署在机柜顶部&＃xff0c;也可以部署在机柜的中部 &＃xff08;Middle of Rack&＃xff09;或底部 &＃xff08;Bottom of Rack&＃xff09;。通常而言&＃xff0c;将交换机部署在机柜顶部是最有利于走线的&＃xff0c;因此这种架构应用最多。

Leaf层&＃xff1a;Leaf 层是网络架构中承上启下的一层&＃xff0c;主要由叶交换机组成。叶交换机向下与 ToR交换机相连&＃xff0c;向上与脊交换机相连。每台叶交换机则向下连接 48 台 ToR 交换机&＃xff0c;这样通过叶交换机便实现了机柜之间的互联。48 台 ToR 交换机与 4 台叶交换机对应划分出的结构也被称为 Server Pods。数据中心在部署时根据需求&＃xff0c;划分为 N 个 Server Pods&＃xff0c; N 的数量可以从几十到几百。边缘的 Pod 又被称为 Edge 平面&＃xff0c;负责出口流量&＃xff0c;实现数据中心之间的互联。

Spine层&＃xff1a;Spine 层是整个数据中心拓扑网络的顶层。为了实现全网的连通性&＃xff0c;Facebook 设计了四个独立的骨干交换机平面(Spine plane)&＃xff0c;每个平面可以根据需求扩展脊交换机&＃xff0c;而每个 Pod 的每一台叶交换机都会与所在平面的每一台脊交换机互联。

按照 Facebook 最初提出的叶脊架构进行估算&＃xff0c;整个数据中心共可以容纳的服务器总数量为24*48*N 台服务器网络的彼此互联。通过设计更多的 Server Pods&＃xff0c;则单个数据中心可以实现高达几十万台的服务器的容量。

2、叶脊架构带来 IT设备变化

叶脊架构拉动高端光模块需求。随着全球数据流量爆发式增长&＃xff0c;建设大型的数据中心较传统的小数据中心具有显著的成本优势&＃xff0c;为适应数据中心规模的扩大以及提升流量传输效率&＃xff0c;原有的三层网络架构与数据中心的发展格格不入&＃xff0c;性能出现瓶颈&＃xff0c;在此背景下叶脊架构诞生了。

叶脊架构下&＃xff0c;每层网络结构所用 IT 设备如下图所示&＃xff1a;

机柜层&＃xff1a;服务器、ToR 交换机、光模块&＃xff1b;

Leaf 层&＃xff1a;Leaf 交换机、光模块&＃xff1b;

Spine 层&＃xff1a;Spine 交换机、光模块&＃xff1b;

叶脊架构以东西向&＃xff08;East-West&＃xff09;流量为主&＃xff0c;如机柜间互联以及 Leaf-Spine 互联的短距高速高模块需求大幅增加&＃xff0c;当前北美应用最为广泛的为 100G 光模块&＃xff0c;并且随着数据流量的增加 100G 光模块正在向 400G 升级。而南北向流量压力得到很大缓解&＃xff0c;数据中心设计往往向上也呈现一定的收敛比&＃xff0c;南北向光模块如 ToR-Leaf 互联光模块和 Leaf-Spine 互联光模块速率并不会显著升级。与此同时&＃xff0c;交换机也伴随升级&＃xff1a;端口数量越来越多&＃xff0c;芯片转发速率越来越高。

3、IT设备用量的详细拆解

以下&＃xff0c;我们将按照前一小节所阐述的叶脊架构&＃xff0c;对数据中心内部服务器、交换机、光模块等几类 IT基础产品的用量进行详细拆解。核心假设&＃xff1a;

1. 高功耗单机柜满载 24 台服务器&＃xff1b; 

2. ToR 交换机上下行端口比例为 1:6&＃xff1b; 

3. Leaf 交换机上下行端口比例为 1:6&＃xff1b;

4. Spine 交换机不考虑上行&＃xff0c;不考虑数据中心之间互联的 Edge 交换机

5. 目前海外主流光模块方案&＃xff0c;服务器互联采用 25G 光模块&＃xff0c;ToR 与 Leaf 交换机、Leaf 与 Spine交换机采用 100G 光模块。

机柜层&＃xff1a;服务器和交换机用量较为清晰&＃xff0c;单机柜设计的服务器数量为 24 台&＃xff0c;机柜顶放置 1 台 ToR 交换机。交换机分为下行接口和上行接口。下行即连接下层的服务器&＃xff0c;上行即连接上层的叶交换机&＃xff0c;中间通过两端带有光模块的 MTP/MPO 光纤连接器进行连接。光模块用量按照如下测算&＃xff1a;

下行的测算&＃xff1a;24&＃xff08;24 台服务器&＃xff0c;一台服务器连一个光模块&＃xff09;&＃43; 24&＃xff08;ToR 交换机 24 个下行接口&＃xff09;&＃61; 48 个&＃xff0c;一般采用为 25G 连接。上行的测算&＃xff1a;一台 ToR 交换机一般 4 个上行接口&＃xff08;连接 4 个叶交换机&＃xff09;&＃xff0c;上行接口速率为100G。

小结&＃xff1a;按照单机柜折算&＃xff0c;即需要 24 台服务器&＃xff0c;1 台 ToR 交换机&＃xff0c;48 个 25G 光模块&＃xff0c;4 个 100G高速光模块。

Leaf层&＃xff1a;不含服务器&＃xff0c;只计算交换机与光模块用量。交换机用量较为清晰&＃xff0c;一个 Pod&＃xff08;48 个机柜&＃xff09;对应 4 台叶交换机。光模块用量按照如下测算&＃xff1a;下行的测算&＃xff1a;

对应于 ToR 交换机的上行&＃xff0c;一台叶交换机有 48 个下行速率为 100G 的端口&＃xff0c;即需要 48 个 100G 的光模块。上行的测算&＃xff1a;考虑到在 Leaf 层南北向流量较少&＃xff0c;可以按照 1&＃xff1a;6 的收敛比进行设计&＃xff0c;即 8 个上行接口&＃xff0c;Spine 平面设计 8 台脊交换机。因此单台叶交换机最多对应 6 个 100G 光模块。

小结&＃xff1a;按照单机柜折算&＃xff0c;即需要 4/48&＃61;0.08 台叶交换机&＃xff0c;&＃xff08;48&＃43;8&＃xff09;*&＃xff08;4/48&＃xff09;&＃61;4.7 个 100G 高速光模块。

Spine层&＃xff1a;按照 4 个 Spine 平面&＃xff0c;每个平面扩展 8 个脊交换机&＃xff0c;脊交换机总用量为 32 台&＃xff1b;按照 64 个 Pod 平面估算&＃xff0c;每个 Pod 平面对应 0.5 台脊交换机。光模块用量的估算&＃xff0c;每台脊交换机下行与每个 Pod 所在平面的叶交换机相连&＃xff0c;则要求脊交换机要有 64 个下行端口&＃xff0c;每台脊交换机对应高速光模块用量 64 个。

小结&＃xff1a;按照单机柜折算&＃xff0c;即需要 0.5/48&＃61;0.01 台脊交换机&＃xff0c;64*&＃xff08;0.5/48&＃xff09;&＃61;0.67 个 100G 高速光模块。

将以上汇总后&＃xff0c;合计单机柜对应服务器 24 台、1 台 ToR 交换机&＃xff0c;1/12 台叶交换机&＃xff0c;1/96 台脊交换机、48 个 25G&＃xff0c;28/3 个 100G 更高速光模块&＃xff0c;具体用量如下表所示&＃xff1a;

4、IT设备价值量的拆算

云计算基础设施各细分领域&＃xff0c;IDC&＃xff1a;服务器&＃xff1a;网络设备&＃xff1a;光模块大约为 15&＃xff1a;72&＃xff1a;3.3&＃xff1a;2.6&＃xff08;对应16%&＃xff1a;77%&＃xff1a;4%&＃xff1a;3%&＃xff09;的关系。对于超大型云计算数据中心&＃xff0c;交换机所需要的型号更加高端&＃xff0c;价值量更高。注意的是&＃xff0c;该测算未包括光纤光缆、跨洋光缆等测算。因此平均来说&＃xff0c;单机柜的资本开支可能更大。

但总体来说&＃xff0c;几类常见 IT 设备间的配比关系&＃xff0c;相对正确。按照如前一小节的拆解&＃xff0c;单机柜的投资金额可以划分为如下几个部分&＃xff1a; 

IDC及机柜 CAPEX&＃xff1a;根据项目以及建设地理位置不同&＃xff0c;单机柜投资金额在 12-18 万之间&＃xff0c;按照平均 15 万进行估算&＃xff0c;其中投资包含了土地、建筑、机柜、温控系统、供电系统&＃xff08;柴发、蓄电池&＃xff09;等等。该项投资一般情况由 IDC 企业支出&＃xff0c;特殊情况下如阿里定制化模式&＃xff0c;土地支出及所有权不属于 IDC 企业。定制化模式下单机柜的投资成本可能更低。

服务器&＃xff1a;目前标准的机柜通常按照满载 24 台服务器设计&＃xff0c;实际根据客户需求不一定按照 24台满载运行。在此估算中暂且按照 24 台满载进行估算。

交换机&＃xff1a;ToR 交换机通常为 24 口&＃xff0c;价格约在 2 万元左右&＃xff1b;Leaf 交换机和 Spine 交换机会根据支持端口速率或数量的不同&＃xff0c;价格有较为明显的差异。以某一线品牌 Leaf 交换机&＃xff08;48 个 10G 下行接口&＃xff0c;6 个 100G 上行接口&＃xff09;为例&＃xff0c;软硬件报价约在 4 万元左右&＃xff1b;某一线品牌 Spine交换机&＃xff08;18 个 100G 下行接口&＃xff09;为例&＃xff0c;软硬报价约在 30 万左右。一般来说&＃xff0c;数据中心规模越大&＃xff0c;要求使用的 Leaf 和 Spine 交换机的端口速率和数量越多。超大规模的数据中心使用的 Spine 交换机价格甚至在成百上千万元/台。在此 64 端口的脊交换机我们按照 100 万元进行估算。

光模块&＃xff1a;目前数据中心主流采用 25G 端口服务器&＃xff0c;因此服务器上行以及 ToR 交换机下行之间的端口连接采用 25G 光模块&＃xff1b;而 ToR 交换机上行、Leaf 交换机以及 Spine 交换机采用100G 光模块&＃xff0c;甚至升级为更高速率光模块。从通信板块的投资弹性来说&＃xff1a;

光模块&＃xff1a;下游应用场景中数据中心光模块价值占比量高&＃xff0c;且受益于产品升级迭代的量价齐升&＃xff1b;

IDC&＃xff1a;存量机柜贡献稳定利润&＃xff0c;增量机柜体现利润增速&＃xff08;增量机柜只有量的弹性&＃xff09;&＃xff1b;

网络设备&＃xff1a;下游应用场景中数据中心占比较小&＃xff0c;企业级应用较高。因此云计算基础设施领域投资弹性排序为&＃xff1a;服务器&＃xff0c;光模块&＃xff1e;IDC&＃xff1e;网络设备。

来源&＃xff1a;全栈云技术架构

下载链接&＃xff1a;IDC系列报告全集

超融合数据中心网络白皮书

低碳数据中心发展白皮书(2021)

数据中心产业发展指数(2021)

腾讯隐私计算白皮书&＃xff08;2021&＃xff09;

京东云原生&＃xff1a;技术实践与探索之路

边缘计算产业安全和生态建设

转载申明&＃xff1a;转载本号文章请注明作者和来源&＃xff0c;本号发布文章若存在版权等问题&＃xff0c;请留言联系处理&＃xff0c;谢谢。

推荐阅读

更多架构相关技术知识总结请参考“架构师全店铺技术资料打包”相关电子书(37本技术资料打包汇总详情可通过“阅读原文”获取)。

全店内容持续更新&＃xff0c;现下单“全店铺技术资料打包(全)”&＃xff0c;后续可享全店内容更新“免费”赠阅&＃xff0c;价格仅收198元(原总价350元)。

温馨提示&＃xff1a;

扫描二维码关注公众号&＃xff0c;点击阅读原文链接获取“架构师技术全店资料打包汇总(全)”电子书资料详情。