• 2023年第四季度推出第五代英特尔至强可扩展处理器（代号Emerald Rapids）

• 2024年推出的代号为Granite Rapids的下一代产品。这些处理器将延续目前的性能核（P-Core）路线。另外，2024年上半年推出的代号为Sierra Forest的CPU将是第一代能效核（E-Core）至强处理器，拥有144个核心。

AMD 第四代 EPYC 处理器，12 颗 CCD 环绕 1 颗 IOD

五、Arm 新升：NVIDIA Grace 与 AmpereOne

Arm一直希望在服务器市场上占有一席之地。亚马逊、高通、华为等企业都推出基于Arm指令集的服务器CPU。随着亚马逊的Graviton、Ampere Altra等产品在市场上站稳脚跟，Arm在服务器CPU市场上的地位逐渐增强。同时，随着异构计算的兴起，Arm在高性能计算和AI/ML算力基础设施中的影响力也在扩大。

英伟达推出的基于Arm Neoverse架构的数据中心专用CPU即NVIDIA Grace，具有72个核心。Grace CPU超级芯片由两个Grace芯片组成，通过NVLink-C2C连接在一起，在单插座内提供144个核心和1TB LPDDR5X内存。此外NVIDIA还宣称Grace可以通过NVLink-C2C与Hopper GPU连接，组成Grace Hopper超级芯片。

NVIDIA Grace是基于Arm Neoverse V2 IP的重要产品。目前尚未公布NVIDIA Grace的晶体管规模，但可以参考基于Arm Neoverse V1的AWS Graviton 3和阿里云倚天710的数据。根据推测，基于Arm Neoverse V1的AWS Graviton 3约有550亿晶体管，对应64核和8通道DDR5内存；基于Arm Neoverse N2的阿里云倚天710约有600亿晶体管，对应128核、8通道DDR5内存和96通道PCIe 5.0。从NVIDIA Grace Hopper超级芯片的渲染图来看，Grace的芯片面积与Hopper接近，已知后者为800亿晶体管，因此推测72核的Grace芯片的晶体管规模大于Graviton 3和倚天710是合理的，并与Grace基于Neoverse V2（支持Arm V9指令集、SVE2）的情况相符。

Arm Neoverse V2配套的互连方案是CMN-700，在NVIDIA Grace中称为SCF（Scalable Coherency Fabric可扩展一致性结构）。英伟达声称Grace的网格支持超过72个CPU核心的扩展，实际上在英伟达白皮书的配图中可以数出80个CPU核心。每个核心有1MB L2缓存，整个CPU有高达117MB的L3缓存（平均每个核心1.625MB），明显高于其他同级别的Arm处理器。

NVIDIA Grace CPU 的网格布局

作为最新、最强版本的Arm架构核心（Neoverse V2）的代表，NVIDIA Grace引起业界的高度关注，尤其是考虑到它将受益于NVIDIA强大的GPGPU技术。人们在GTC 2023上终于有机会亲眼目睹Grace的实物，但实际市场表现还需要一段时间来验证。大家对Grace在超级计算和机器学习等领域的表现抱有很高的期待。

GTC2023 演讲中展示的 Grace 超级芯片实物

六、网格架构的两类 Chiplet

Ampere One采用流行的Chiplet技术，拥有多达192个核心和384MB L2缓存，这并不令人意外。目前普遍的推测是，它的设计类似于AWS Graviton3即将CPU和缓存单独放置在一个die上，DDR控制器的die位于其两侧，而PCIe控制器的die位于其下方。将CPU核心和缓存与负责外部I/O的控制器分离在不同的die上，是实现服务器CPU的Chiplet的主流做法。

IOD 居 中 的 AMD 第 二 代 EPYC 处 理 器， 与 核 心 die 居 中 的 AWS Graviton3 处理器

正如之前提到的AMD EPYC家族处理器采用星形拓扑结构，将I/O部分集中放置在一个IOD上，而CPU核心和缓存（CCD）则环绕在周围。这是由网格架构的特性所决定的，要求CPU核心和缓存必须位于中央，而I/O部分则分散在外围。因此，当进行拆分时，布局会相反，中央的die会更大，而周围的die会更小。

与EPYC家族的架构相比，网格架构具有更强的整体性，天生具有单体式（Monolithic）结构不太适合拆分。在网格架构中，必须考虑交叉点（节点）的利用率问题，如果有太多的空置交叉点，会导致资源浪费，因此缩小网格规模可能更为有效。

以初代英特尔至强可扩展处理器为例，为了满足核数（Core Count，CC）从4到28的范围变化提供三种不同构型的die（die chop）。其中，6×6的XCC（eXtreme CC，最多核或极多核）支持最多28个核心；6×4的HCC（High CC，高核数）支持最多18个核心；4×4的LCC（Low CC，低核数）支持最多10个核心。

从这个角度来看，Ampere One不支持128核及以下是合理的，除非增加die的构型，但这涉及到公司规模和出货量的支持需要量产来解决。而第四代英特尔至强可扩展处理器提供了两种构型的die。

其中，MCC（Medium CC中等核数）主要满足32核及以下的需求，比代号Ice Lake的第三代英特尔至强可扩展处理器的40核要低，因此网格规模比后者的7×8少了1列为7×7，最多可以安置34个核心及其缓存。而36到60个核心的需求则必须由XCC来满足，它是前面提到的Chiplet版本，将网格架构从中间切割成4等分，非常独特。

XCC版本的第四代英特尔至强可扩展处理器由两种互为镜像的die拼成2×2的大矩阵，因此整体具有高度对称性上下和左右都对称，而前三代产品和同代的MCC版本则没有如此对称。

英特尔认为，第四代英特尔至强可扩展处理器（XCC版本）由4个die拼接而成，形成了一个准单体式（quasi-monolithic）的die。单体式的概念比较容易理解常见的网格架构就是这样的。在第四代英特尔至强可扩展处理器中外圈左右是DDR内存控制器，上下是PCIe控制器和集成的加速器（DSA/QAT/DLB/IAA），而UPI位于四个角落，这是典型的网格架构布局。

第四代英特尔至强可扩展处理器的 EMIB 连接

“东数西存”是“东数西算”的基础和前奏，而不是子集。其涉及到数据、存储和计算之间的关系。数据通常在人口密集的东部产生，而存储则在地广人稀的西部进行。其中主要难点在于如何以较低的成本完成数据传输。计算需要频繁地访问数据，而在跨地域的情况下，网络的带宽和时延成为难以克服的障碍。

与数据传输和计算相比，存储并不消耗太多能源，但占用大量空间。核心区域始终是稀缺资源，就像核心城市的核心地段不会被用来建设超大规模的数据中心一样，CPU的核心区域也只能留给存储器的硅片面积有限。

实现“东数西算”并非一蹴而就的事情，超大规模的数据中心与核心城市也逐渐疏远而且并不是越远越好。同样围绕CPU已经建立一套分层的存储体系，尽管从高速缓存到内存都属于易失性存储器（内存）但通常那些处于中间状态的数据对访问时延的要求更高，因此需要更靠近核心。如果是需要长期保存的数据，离核心远一些也没有关系，而访问频率较低的数据可以存储在较远的位置（西存）。

距离CPU核心最近的存储器是各级缓存（Cache），除了基于SRAM的各级Cache之外。即使在缓存中也存在远近之分。在现代CPU中，L1和L2缓存已经成为核心的一部分则需要考虑占用面积的主要是L3缓存。

一、SRAM 的面积律

现在是2023年制造工艺正在向3纳米迈进。台积电公布其N3制程的SRAM单元面积为0.0199平方微米，相比N5制程的面积为0.021平方微米，仅缩小了5%。更为困扰的是由于良率和成本问题，预计N3并不会成为台积电的主力工艺客户们更关注第二代3纳米工艺N3E。而N3E的SRAM单元面积为0.021平方微米与N5工艺完全相同。

就成本而言据传N3一片晶圆的成本为2万美元而N5的报价为1.6万美元，这意味着N3的SRAM比N5贵25%。作为参考Intel的7纳米制程（10纳米）的SRAM面积为0.0312平方微米Intel的4纳米制程（7纳米）的SRAM面积为0.024平方微米与台积电的N5和N3E工艺相当。

尽管半导体制造商的报价是商业机密但SRAM的价格越来越高，密度也难以再提高。因此将SRAM单独制造并与先进封装技术结合，以实现高带宽和低时延成为一种合理的选择。

二、向上堆叠，翻越内存墙

当前，AMD的架构面临内存性能落后的问题。其中原因包括核心数量较多导致平均每个核心的内存带宽偏小、核心与内存的距离较远导致延迟较大以及跨CCD的带宽过小等。为了弥补访问内存的劣势，AMD需要使用较大规模的L3缓存。

然而，从Zen 2到Zen 4架构，AMD每个CCD的L3缓存仍然保持32MB的容量并没有与时俱进。为了解决SRAM规模滞后的问题，AMD决定将扩容SRAM的机会独立于CPU之外。在代号为Milan-X的EPYC 7003X系列处理器上，AMD应用了第一代3D V-Cache技术。这些处理器采用Zen 3架构核心，每个缓存（L3缓存芯片，简称L3D）的容量为64MB，面积约为41mm²采用7纳米工艺制造。

缓存芯片通过混合键合、TSV（Through Silicon Vias，硅通孔）工艺与CCD（背面）垂直连接。该单元包含4个组成部分：最底层的CCD、上层中间部分L3D、以及上层两侧的支撑结构，采用硅材质以在垂直方向上平衡整个结构并将下方CCX（Core Complex，核心复合体）部分的热量传导到顶盖。

Zen4 CCD 的布局，请感受一下 L3 Cache 的面积

在Zen 3架构核心设计之初AMD就预留了必要的逻辑电路和TSV电路，相关部分大约使CCD的面积增加4%。L3D的堆叠位置恰好位于CCD的L2/L3缓存区域上方。这一设计既符合双向环形总线内CCD中缓存居中、CPU核心分布在两侧的布局。又考虑到（L3）缓存的功率密度相对较低于CPU核心，有利于控制整个缓存区域的发热量。

3D V-Cache 结构示意图

Zen 3架构的L3缓存由8个切片组成每片4MB；而L3D设计为8个切片每片8MB。两组缓存的每个切片之间有1024个TSV连接，总共有8192个连接。AMD声称这额外的L3缓存只会增加4个周期的延迟。

随着Zen 4架构处理器的推出，第二代3D V-Cache也登场了。它的带宽从上一代的2TB/s提升到2.5TB/s容量仍然为64MB，制程仍然是7纳米，但面积缩减到了36mm²。这个面积的缩减主要来自TSV部分，AMD声称在TSV的最小间距没有缩小的情况下，相关区域的面积缩小了50%。代号为Genoa-X的EPYC系列产品预计将于2023年中发布。

增加SRAM容量可以大幅提高缓存命中率，减少内存延迟对性能的影响。AMD的3D V-Cache以相对合理的成本实现了缓存容量的巨大提升（在CCD内L3缓存的基础上增加了2倍），对性能的改进也非常明显。

应用 3D V-Cache 的 AMD EPYC 7003X 处理器

三、HBM 崛起：从 GPU 到 CPU

HBM（High Bandwidth Memory）是一种由AMD和SK海力士于2014年共同发布的技术，它使用TSV技术将多个DRAM芯片堆叠在一起，大幅提高容量和数据传输速率。随后三星、美光、NVIDIA、Synopsys等公司也积极参与这一技术路线。标准化组织JEDEC也将HBM2列入了标准（JESD235A）并陆续推出了HBM2e（JESD235B）和HBM3（JESD235C）。主要得益于堆叠封装和巨大的位宽（单封装1024位），HBM提供远远超过其他常见内存形式（如DDR DRAM、LPDDR、GDDR等）的带宽和容量。

典型的实现方式是通过2.5D封装与处理器核心连接，在CPU、GPU等产品中广泛应用。早期有人将HBM视为L4缓存，从TB/s级别的带宽来看这个观点也是合理的。而从容量的角度来看HBM比SRAM或eDRAM要大得多。

因此，HBM既可以胜任（一部分）缓存的工作也可以作为高性能内存使用。AMD是HBM的早期采用者，目前AMD Instinct MI250X计算卡在单一封装内集成了2颗计算核心和8颗HBM2e，总容量为128GB，带宽达到3276.8GB/s。NVIDIA主要在专业卡中应用HBM其2016年的TESLA P100 HBM版配备了16GB HBM2，随后的V100则配备了32GB HBM2。目前热门的A100和H100也都有HBM版，前者最大提供80GB HBM2e，带宽约为2TB/s；后者升级到HBM3，带宽约为3.9TB/s。华为的昇腾910处理器也集成了4颗HBM。

对于计算卡、智能网卡、高速FPGA等产品来说，HBM作为GDDR的替代品，应用已非常成熟。CPU也已经开始集成HBM，其中最突出的案例是曾经问鼎超算TOP500的富岳（Fugaku），它采用富士通研发的A64FX处理器。A64FX基于Armv8.2-A架构，采用7纳米制程，在每个封装中集成了4颗HBM2，总容量为32GB，带宽为1TB/s。

富士通 A64FX CPU

四、向下发展：基础层加持

英特尔数据中心Max GPU系列引入了Base Tile的概念，可以将其看作是基础芯片。相对于中介层的概念，我们也可以将基础芯片视为基础层。表面上看基础层和硅中介层的功能类似，都用于承载计算核心和高速I/O（如HBM），但实际上基础层的功能更加丰富。

硅中介层主要利用成熟的半导体光刻、沉积等工艺（如65纳米级别），在硅上形成高密度的电气连接。而基础层更进一步：既然已经在加工多层图案，为什么不将逻辑电路等功能也整合进去呢？

英特尔数据中心 Max GPU

在ISSCC 2022上，英特尔展示了英特尔数据中心Max GPU的Chiplet（小芯片）架构。其中基础芯片的面积为640mm²，采用了英特尔7纳米制程，这是目前英特尔用于主流处理器的先进制程。为什么在"基础"芯片上需要使用先进制程呢？这是因为英特尔将高速I/O的SerDes都集成在基础芯片中，类似于AMD的IOD。这些高速I/O包括HBM PHY、Xe Link PHY、PCIe 5.0以及缓存等。这些电路都更适合使用5纳米及以上的工艺制造，将它们与计算核心解耦后重新打包在同一制程内是一个相当合理的选择。

英特尔数据中心 Max GPU 的 Chiplet 架构

英特尔数据中心Max GPU系列通过Foveros封装技术，在基础芯片上方叠加了8颗计算芯片（Compute Tile）和4颗RAMBO芯片（RAMBO Tile）。计算芯片采用台积电N5工艺制造，每颗芯片拥有4MB的L1 Cache。RAMBO是"Random Access Memory Bandwidth Optimized"的缩写，即带宽优化的随机访问存储器。独立的RAMBO芯片基于英特尔7纳米制程，每颗芯片有4个3.75MB的Bank，总共提供15MB的容量。每组4颗RAMBO芯片共提供了60MB的L3 Cache。此外，在基础芯片中还有一个容量为144MB的RAMBO，以及L3 Cache的交换网络（Switch Fabric）。

因此，在英特尔数据中心Max GPU中，基础芯片通过Cache交换网络将基础层内的144MB Cache与8颗计算芯片和4颗RAMBO芯片的60MB Cache组织在一起，总共提供了204MB的L2/L3 Cache。整个封装由两组组成，即总共408MB的L2/L3 Cache。每组处理单元通过Xe Link Tile与其他7组进行连接。Xe Link芯片采用台积电N7工艺制造。

X HPC 的逻辑架构

前面已经提到，I/O 芯片独立是大势所趋，共享 Cache 与 I/O 拉近也是趋势。英特尔数据中心 Max GPU 将 Cache 与各种高 速 I/O 的 PHY 集成在同一芯片内，正是前述趋势的集大成者。 至于 HBM、Xe Link 芯片，以及同一封装内相邻的基础芯片，则 通过 EMIB（爆炸图中的橙色部分）连接在一起。

英特尔数据中心 Max GPU 爆炸图

根据英特尔在 HotChips 上公布的数据，英特尔数据中心 Max GPU 的 L2 Cache 总带宽可以达到 13TB/s。考虑到封装了两组基础芯片和计算芯片给带宽打个对折，基础芯片和 4 颗 RAMBO 芯片的带宽是 6.5TB/s，依旧远远超过目前至强和 EPYC 的 L2、L3 Cache 的带宽。其实之前 AMD 已经通过指甲盖大小的 3D V-Cache 证明 3D 封装的性能，那就更不用说英特尔数据中心 Max GPU 的 RAMBO 及基础芯片的面积。

回顾一下3D V-Cache的一个弱点即散热不良。我们还发现将Cache集成到基础芯片中有一个优点：将高功耗的计算核心安排在整个封装的上层，更有利于散热。进一步观察在网格化的处理器架构中L3 Cache并不是简单的几个块（切片），而是分成数十甚至上百个单元分别连接到网格节点上。基础芯片在垂直方向上可以完全覆盖或容纳处理器芯片，其中的SRAM可以分成相等数量的单元与处理器的网格节点相连接。

目前已经成熟的3D封装技术中，凸点间距在30到50微米的范围内足以满足每平方毫米内数百至数千个连接的需求，可以满足当前网格节点带宽的需求。当然更高密度的连接也是可行的，10微米甚至亚微米的技术正在不断推进中，但优先考虑的场景是HBM、3D NAND等高度定制化的内部堆栈混合键合，可能并不适合Chiplet对灵活性的需求。

五、标准化：Chiplet 与 UCIe

1、CXL：内存的解耦与扩展

相对于PCIe，CXL最重要的价值在于减少各子系统内存的访问延迟（理论上PCIe的延迟为100纳秒级别而CXL为10纳秒级别）。例如GPU访问系统内存时，这对于设备之间的大容量数据交换至关重要。这种改进主要源于两个方面：

首先，PCIe在设计之初并没有考虑缓存一致性问题。当通过PCIe进行跨设备的DMA读写数据时，在操作延迟期间，内存数据可能已经发生变化，因此需要额外的验证过程，这增加了指令复杂度和延迟。而CXL通过CXL.cache和CXL.memory协议解决缓存一致性问题，简化操作也减少延迟。

其次，PCIe的初衷是针对大流量进行优化，针对大数据块（512字节、1KB、2KB、4KB）进行优化，希望减少指令开销。而CXL则针对64字节传输进行优化，对于固定大小的数据块而言操作延迟较低。换句话说，PCIe的协议特点更适合用于以NVMe SSD为代表的块存储设备，而对于注重字节级寻址能力的计算型设备CXL更为适合。

除充分释放异构计算的算力，CXL还让内存池化的愿景看到了标准化的希望。CXL Type 3设备的用途是内存缓冲，利用CXL.io和CXL.memory的协议实现扩展远端内存。在扩展后，系统内存的带宽和容量即为本地内存和CXL内存模块的叠加。

在新一代CPU普遍支持的CXL 1.0/1.1中，CXL内存模块首先实现主机级的内存扩展，试图突破传统CPU内存控制器的发展瓶颈。CPU核心数量增长的速度远远快于内存通道的增加速度是其中的原因。

在过去的十年间CPU的核心数量从8到12个增长到了60甚至96个核心，而每个插槽CPU的内存通道数仅从4通道增加到8或12通道。每个通道的内存在此期间也经历三次大的迭代，带宽大约增加1.5到2倍，存储密度大约增加4倍。从发展趋势来看，每个CPU核心所能分配到的内存通道数量在明显下降，每个核心可以分配的内存容量和内存带宽也有所下降。这是内存墙的一种表现形式，导致CPU核心无法充分获取数据以处于满负荷的运行状态，从而导致整体计算效率下降。

2、UCIe 与异构算力

随着人工智能时代的到来，异构计算已经成为常态。原则上只要功率密度允许，这些异构计算单元的高密度集成可以由UCIe完成。除集成度的考虑，标准化的Chiplet还带来功能和成本的灵活性。对于不需要的单元，在制造时可以不参与封装，而对于传统处理器而言，无用的单元常常成为无用的"暗硅"，意味着成本的浪费。一个典型的例子是DSA，如英特尔第四代可扩展至强处理器中的若干加速器，用户可以付费开启，但是如果用户不付费，这些DSA其实已经制造出来。

UCIe包括协议层（Protocol Layer）、适配层（Adapter Layer）和物理层（Physical Layer）。协议层支持PCIe 6.0、CXL 2.0和CXL 3.0同时也支持用户自定义的协议。根据不同的封装等级，UCIe还提供不同的Package模块。通过使用UCIe的适配层和PHY替换PCIe/CXL的PHY和数据包可以实现更低功耗和性能更优的Die-to-Die互连接口。

UCIe考虑了两种不同等级的封装：标准封装（Standard Package）和先进封装（Advanced Package）。这两种封装在凸块间距、传输距离和能耗方面存在数量级的差异。例如，对于先进封装，凸块间距（Bump Pitch）为25～55μm，代表采用硅中介层的2.5D封装技术特点。以英特尔的EMIB为例，当前的凸块间距约为50μm，未来将演进至25μm甚至10μm。台积电的InFO、CoWoS等也具有类似的规格和演进趋势。而标准封装（2D）的规格则对应目前应用最广泛的有机载板。

不同封装的信号密度也存在本质差异。标准封装模块对应的是16对数据线（TX、RX），而高级封装模块则包含64对数据线。每32个数据管脚还额外提供2个用于Lane修复的管脚。如果需要更大的带宽，可以扩展更多的模块并且这些模块的频率是可以独立设置的。

需要特别提到的是，UCIe与高速PCIe的深度集成使其更适合高性能应用。实际上，SoC（片上系统）是一个广义的概念而UCIe面向的是宏观系统级的集成。传统观念中适合低成本、高密度的SoC可能需要集成大量的收发器、传感器、块存储设备等。例如，一些面向边缘场景的推理应用和视频流处理的IP设计企业非常活跃，这些IP可能需要更灵活的商品化落地方式。由于UCIe不考虑相对低速设备的集成，低速、低成本接口的标准化仍然有空间。

随着"东数西算"工程的推进，出现了细分场景如"东数西渲"和"东数西训"。视频渲染和人工智能（AI）/机器学习（ML）的训练任务本质上都是离线计算或批处理，可以在"东数西存"的基础上进行。即原始素材或历史数据传输到西部地区的数据中心后，在该地区独立完成计算过程，与东部地区的数据中心交互较少，因此不会受到跨地域时延的影响。换句话说，"东数西渲"和"东数西训"的业务逻辑成立是因为计算与存储仍然就近耦合，不需要面对跨地域的"存算分离"挑战。

在服务器内部，CPU和GPU之间存在类似但不同的关系。对于当前热门的大模型来说，对计算性能和内存容量都有很高的要求。然而，CPU和GPU之间存在一种"错配"现象：GPU的AI算力明显高于CPU，但直接的内存（显存）容量通常不超过100GB，与CPU的TB级内存容量相比相差一个数量级。幸运的是CPU和GPU之间的距离可以缩短，带宽可以提升。通过消除互连瓶颈，可以大大减少不必要的数据移动，提高GPU的利用率。

一、为GPU而生的CPU

NVIDIA Grace CPU的核心基于Arm Neoverse V2架构，其互连架构SCF（可扩展一致性结构）可以看作是定制版的Arm CMN-700网格。然而在外部I/O方面，NVIDIA Grace CPU与其他Arm和x86服务器有很大不同，这体现NVIDIA开发这款CPU的主要意图，即为需要高速访问大内存的GPU提供服务。

在内存方面，Grace CPU具有16个LPDDR5X内存控制器，这些内存控制器对应着封装在一起的8个LPDDR5X芯片，总容量为512GB。经过ECC开销后，可用容量为480GB。因此可以推断有一个内存控制器及其对应的LPDDR5X内存die用于ECC。根据NVIDIA官方资料，与512GB内存容量同时出现的内存带宽参数是546GB/s而与480GB（带ECC）同时出现的是约500GB/s，实际的内存带宽应该在512GB/s左右。

PCIe控制器是必不可少的Arm CPU的惯例是将部分PCIe通道与CCIX复用，但这样的CCIX互连带宽相对较弱，不如英特尔专用于CPU间互连的QPI/UPI。

NVIDIA Grace CPU提供68个PCIe 5.0通道，其中有2个x16通道可以用作12通道一致性NVLink（cNVLINK）。真正用于芯片（CPU/GPU）之间互连的是cNVLINK/PCIe隔"核"相望的NVLink-C2C接口，其带宽高达900GB/s。

NVLink-C2C中的C2C代表芯片到芯片之间的连接。根据NVIDIA在ISSCC 2023论文中的描述，NVLink-C2C由10组连接组成（每组9对信号和1对时钟），采用NRZ调制，工作频率为20GHz，总带宽为900GB/s。每个封装内的传输距离为30mm，PCB上的传输距离为60mm。对于NVIDIA Grace CPU超级芯片，使用NVLink-C2C连接两个CPU可以构成一个144核的模块；而对于NVIDIA Grace Hopper超级芯片，即将Grace CPU和Hopper GPU进行互联。

NVLink-C2C的900GB/s带宽是非常惊人的数据。作为参考，Intel代号为Sapphire Rapids的第四代至强可扩展处理器包含3或4组x24 UPI 2.0（@16GT/s）多个处理器之间的总带宽接近200GB/s；而AMD第四代EPYC处理器使用的GMI3接口用于CCD与IOD之间的互联带宽为36GB/s，而CPU之间的Infinity Fabric相当于16通道PCIe 5.0，带宽为32GB/s。在双路EPYC 9004之间可以选择使用3或4组Infinity Fabric互联，4组的总带宽为128GB/s。

通过巨大的带宽，两颗Grace CPU可以被紧密联系在一起，其"紧密"程度远超传统的多路处理器系统，已经足以与基于有机载板的大多数芯片封装方案（2D封装）相匹敌。要超越这个带宽，需要引入硅中介层（2.5D封装）的技术。例如，苹果M1 Ultra的Ultra Fusion架构利用硅中介层连接两颗M1 Max芯粒。苹果声称Ultra Fusion可以同时传输超过10,000个信号，实现高达2.5TB/s的低延迟处理器互联带宽。Intel的EMIB也是一种2.5D封装技术，其芯粒间的互联带宽也应当达到TB级别。

NVLink-C2C的另一个重要应用案例是GH200 Grace Hopper超级芯片，它将一颗Grace CPU与一颗Hopper GPU进行互联。Grace Hopper是世界上第一位著名的女性程序员，也是"bug"术语的发明者。因此，NVIDIA将这一代CPU和GPU分别命名为Grace和Hopper，这个命名实际上有着深刻的意义，充分说明在早期规划中，它们就是紧密结合的关系。

NVIDIA Grace Hopper 超级芯片主要规格

CPU和GPU之间的数据交换效率（带宽、延迟）在超大机器学习模型时代尤为重要。NVIDIA为Hopper GPU配备了大容量高速显存，全开启6组显存控制器，容量达到96GB，带宽达到3TB/s。

相比之下，独立的GPU卡H100的显存配置为80GB，而H100 NVL的双卡组合则为188GB。Grace CPU搭载了480GB的LPDDR5X内存，带宽略超过500GB/s。尽管Grace的内存带宽与使用DDR5内存的竞品相当，但CPU与GPU之间的互连才是决定性因素。典型的x86 CPU只能通过PCIe与GPU通信而NVLink-C2C的带宽远超PCIe并具有缓存一致性的优势。

通过NVLink-C2C Hopper GPU可以顺畅地访问CPU内存超过H100 PCIe和H100 SXM。此外，高带宽的直接寻址还可以转化为容量优势，使Hopper GPU能够寻址576GB的本地内存。

CPU拥有的内存容量是GPU无法比拟的，而GPU到CPU之间的互连（PCIe）是瓶颈。NVLink-C2C的带宽和能效比优势是GH200 Grace Hopper超级芯片相对于x86+GPU方案的核心优势之一。NVLink-C2C每传输1比特数据仅消耗1.3皮焦耳能量大约是PCIe 5.0的五分之一具有25倍的能效差异。需要注意的是这种比较并不完全公平，因为PCIe是板间通信，与NVLink-C2C的传输距离有本质区别。

NVLink最初是为了实现高速GPU之间的数据交换而设计的，通过NVSwitch的帮助，可以将服务器内部的多个GPU连接在一起，形成一个容量成倍增加的显存池。

二、NVLink 之 GPU 互连

NVLink的目标是突破PCIe接口的带宽瓶颈，提高GPU之间交换数据的效率。2016年发布的P100搭载了第一代NVLink，提供160GB/s的带宽，相当于当时PCIe 3.0 x16带宽的5倍。V100搭载的NVLink2将带宽提升到300GB/s 接近PCIe 4.0 x16的5倍。A100搭载了NVLink3带宽为600GB/s。

H100搭载的是NVLink4，相对于NVLink3，NVLink4不仅增加了链接数量，内涵也有比较重大的变化。NVLink3中，每个链接通道使用4个50Gb/s差分对，每通道单向25GB/s，双向50GB/s。A100使用12个NVLink3链接，总共构成了600GB/s的带宽。NVLink4则改为每链接通道使用2个100Gb/s差分对，每通道双向带宽依旧为50GB/s，但线路数量减少了。

在H100上可以提供18个NVLink4链接总共900GB/s带宽。NVIDIA的GPU大多提供NVLink接口，其中PCIe版本可以通过NVLink Bridge互联，但规模有限。更大规模的互联还是得通过主板/基板上的NVLink进行组织，与之对应的GPU有NVIDIA私有的规格SXM。

SXM规格的NVIDIA GPU主要应用于数据中心场景其基本形态为长方形，正面看不到金手指属于一种mezzanine卡，采用类似CPU插座的水平安装方式"扣"在主板上，通常是4-GPU或8-GPU一组。其中4-GPU的系统可以不通过NVSwitch即可彼此直连，而8-GPU系统需要使用NVSwitch。

NVIDIA HGX A100 4-GPU 系 统 的 组 织 结 构。 每 个 A100 的 12 条 NVLink 被均分为 3 组，分别与其他 3 个 A100 直联

经过多代发展，NVLink已经日趋成熟，并开始应用于GPU服务器之间的互连，进一步扩大GPU（以及其显存）集群的规模。

NVIDIA HGX H100 8-GPU 系 统 的 组 织 结 构。 每 个 H100 的 18 条 NVLink 被分为 4 组，分别与 4 个 NVSwitch 互联。

三、NVLink 组网超级集群

在2023年5月底召开的COMPUTEX上，英伟达宣布了由256个Grace Hopper超级芯片组成的集群，总共拥有144TB的GPU内存。大语言模型（LLM）如GPT对显存容量的需求非常迫切，巨大的显存容量符合大模型的发展趋势。那么，这个前所未见的容量是如何实现的呢？

其中一个重大创新是NVLink4 Networks，它使得NVLink可以扩展到节点之外。通过DGX A100和DGX H100构建的256-GPU SuperPOD的架构图，可以直观地感受到NVLink4 Networks的特点。在DGX A100 SuperPOD中，每个DGX节点的8个GPU通过NVLink3互联，而32个节点则需要通过HDR InfiniBand 200G网卡和Quantum QM8790交换机互联。在DGX H100 SuperPOD中，节点内部采用NVLink4互联8个GPU，节点之间通过NVLink4 Network互联，各节点接入了称为NVLink Switch的设备。

DGX A100 和 DGX H100 256 SuperPOD 架构

根据NVIDIA提供的架构信息NVLink Network支持OSFP（Octal Small Form Factor Pluggable）光口，这也符合NVIDIA声称的线缆长度从5米增加到20米的说法。DGX H100 SuperPOD使用的NVLink Switch规格为：端口数量为128个，有32个OSFP笼（cage），总带宽为6.4TB/s。

DGX H100 SuperPOD 节点内部的网络架构

每个8-GPU节点内部有4个NVSwitch，对于DGX H100 SuperPOD每个NVSwitch都通过4或5条NVLink对外连接。每条NVLink的带宽为50GB/s，对应一个OSFP口相当于400Gb/s，非常成熟。每个节点总共需要连接18个OSFP接口，32个节点共需要576个连接，对应18台NVLink Switch。

DGX H100也可以（仅）通过InfiniBand互联，参考DGX H100 BasePOD的配置，其中的DGX H100系统配置了8个H100、双路56核第四代英特尔至强可扩展处理器、2TB DDR5内存，搭配了4块ConnectX-7网卡——其中3块双端口卡用于管理和存储服务，还有一块4个OSFP口的用于计算网络。

回到Grace Hopper超级芯片，NVIDIA提供了一个简化的示意图其中的Hopper GPU上的18条NVLink4与NVLink Switch相连。NVLink Switch连接了"两组"Grace Hopper超级芯片。任何GPU都可以通过NVLink-C2C和NVLink Switch访问网络内其他CPU、GPU的内存。

NVLink4 Networks的规模是256个GPU，注意是GPU而不是超级芯片，因为NVLink4连接是通过H100 GPU提供的。对于Grace Hopper超级芯片，这个集群的内存上限就是：（480GB内存+96GB显存）×256节点=147456GB，即144TB的规模。假如NVIDIA推出了GTC2022中提到的Grace + 2Hopper，那么按照NVLink Switch的接入能力，那就是128个Grace和256个Hopper，整个集群的内存容量将下降至约80TB的量级。

Grace Hooper 超级芯片之间的互联

在COMPUTEX 2023期间，NVIDIA宣布Grace Hopper超级芯片已经量产，并发布了基于此的DGX GH200超级计算机。NVIDIA DGX GH200使用了256组Grace Hopper超级芯片，以及NVLink互联，整个集群提供高达144TB的可共享的"显存"，以满足超大模型的需求。以下是一些数字，让我们感受一下NVIDIA打造的E级超算系统的规模：