本文来自“国外超大规模智算集群体系结构发展的10个趋势”，超大规模智算系统在向更大规模、更高能效、更通用化发展的过程中，仍面临着内存墙、通信墙、能耗与散热、生态壁垒等挑战，为了应对这些挑战，本文斗胆对超大规模智算集群体系结构发展趋势作出初步判断。

趋势 1: 体系结构上可借鉴人类智能“小算力+大网络”结构

数据传输的问题本质是“计算”与“存储”分离架构导致的。计算单元与存储单元相互独立，数据需要通过总线频繁在二者之间传输，不仅产生了巨大能耗，还带来显著延迟，难以适配大模型对高带宽、低延迟的需求。为破解这一瓶颈，近存计算、存算一体等新型架构应运而生，IBM NorthPole 芯片是该方向的一种探索。该芯片通过近存计算架构，将计算单元与存储单元深度融合，在 30 亿参数的小规模推理场景中，实现了比最节能 GPU速度快 47 倍、能效高 73 倍的性能表现。

趋势 2：CPU+多样化加速部件是大规模智算逻辑节点的主流结构

异构融合计算为解决通用 CPU 并行算力不足的痛点，发展出多种形态加速部件，如英特尔早期的Phi、英伟达 GPU 等，以及基于 FPGA 的可重构计算部件，提升了算力密度与能效比。国防科技大学研制的天河超算系统是重要里程碑，创新 CPU+GPU 超算异构混合架构，先后 6 次荣登全球超级计算机 TOP500 榜单，证明了异构计算在算力规模化的核心价值。

趋势 3：智能加速芯片体系结构将迎来百花齐放的定制化时代

以国外 AI 定制芯片为例，主要有 10 个系列，包括：

1）英伟达 Vera Rubin GPU，Rubin 架构目前是行业标杆；

2）Cerebras WSE-3，采用整块晶圆芯片设计，拥有 4 万亿晶体管和 44 GB SRAM，带宽达 21 PB/s，颠覆了传统的芯片设计理念；

3）AMD MI455X， 搭 配Helios 平台，拥有 432 GB HBM4，海量内存为大模型计算提供了有力支撑；

4）英伟达 LP30，联手 Groq 采用纯 SRAM架构，基于三星 4 nm 工艺，推理性能实现 35 倍提升；

5）谷歌 TPUv7（Ironwood），作为第 7 代TPU（张量处理单元），搭载 192 GB HBM 单芯，带宽达 7.37 TB/s，成为 Google Gemini 大模型的计算底座；

6）亚马逊 Trainium3，基于台积电 N3P 工艺，为 AWS云平台的智能训练提供专用算力；

7）微软 Maia 200，采用 18A 先进工艺，搭载 288 GB HBM4，成为 Azure云平台的核心智算芯片；

8）Meta MTIA v3，针对推荐算法优化，大幅降低运营成本；

9）高通 AI250，以手机等市场为重点，主打低功耗，适配边缘智能计算场景；

10）英特尔 Jaguar，丰富了智算芯片的生态。

多样化AI 定制芯片，针对不同的智能计算场景实现了优化，形成了“各有所长、互补发展”的格局。

趋势 4：通过混合精度与 Prefill和 Decode 两阶段分离，突破能力和延迟的双重约束

1）优化芯片资源分配。一是增加计算核心数量，GPU 的计算核心数量可达数千甚至上万个 ， 远 超CPU 的数十个核心，能够同时执行大量的并行计算任务，大幅提升数据密集型任务的处理效率；二是优化存储层次，减少非计算资源占用。

2）设计专门针对矩阵运算的硬件单元。AI 计算的核心是矩阵运算，包括矩阵乘法、卷积运算等，这些任务占据了智能训练与推理的绝大部分计算量。因此，创新计算部件结构的核心思路是设计专门针对矩阵运算的硬件单元，实现核心任务的硬件加速，大幅提升计算效率。

3）探索混合精度。传统的科学计算以 64 位浮点（FP64）为主，追求计算准确性。但智能计算任务对精度要求相对灵活。许多 AI 任务即使在较低精度下仍能接受。芯片厂商纷纷推出对低精度计算的硬件支持，从 16 位浮点（FP16）、 8 位整数（INT8），到 8 位浮点（FP8）、4 位浮点（FP4）等。

传统的推理方案采用单一 GPU 处理 Prefill 以及Decode 两个阶段，导致资源浪费。体系结构专家 Patterson 提出了以 HB Flash（高带宽闪存） 为代表的存储优化思路]。该思路通过在传统的存储层级中新增 HB  Flash 层 ， 构 建 “片 上SRAM—HBM（高带宽内存）—HB Flash—DDR5（标准内存）—SSD/NVMe”的分层存储体系，明确了各存储层级的功能定位。片上 SRAM 用于存储热键值缓存，实现高速访问；HBM 用于存储模型权重和部分热键值缓存；HB Flash 作为新增层级，用于存储海量的冷键值缓存，提供 TB 级别的存储容量和远高于 DDR5的带宽；DDR5 和 SSD/NVMe 则用于存储模型数据和超大规模的缓存数据。

趋势 5：探索和创新面向 AI 的新型计算结构

Tenstorrent公司的计算节点以 Tensix 核心为基本计算单元（Core），采用高度集成的设计，融合了计算、存储、通信等多种功能，成为一个紧凑的智能计算单元。

Tensix 的创新主要有 2 方面：一是 Core 原生支持分块矩阵运算，支持 32×32 分块的矩阵运算，能够高效执行智能计算的核心任务，提升计算效率；二是计算与通信的深度融合，Core 内部集成片上网络接口，实现 Core 间的无阻塞高速互联，减少数据交互延迟，符合计算节点内多核心协同的需求。

趋势 6：大规模智算集群催生多样化的网络定制方案

大规模智能计算对网络的高带宽、大规模、高可靠需求催生了多样化的网络解决方案。包括谷歌TPU G-ICI、AWS Neuron Link]、英伟达 NVLink、华为 Cloud Matrix 384、xAI 的 PCIe 互联与 Spectrum-X 以太网结合等。

多样化的网络解决方案背后是不同的设计思路：

一是静态定制优化，以 Google TPU 为代表，通过构建私有协议、物理隔离的光交换网络，实现静态场景下的高带宽与低延迟，适配大规模、高稳定的大模型训练需求；

二是英伟达采用了极高带宽的思路，通过NVLink 实现节点内的高速互联，通过 InfiniBand/RoCE实现节点间的规模化组网，依托先进芯片工艺，提供无阻塞带宽，成为当前智算集群网络的主流选择；

三是基于通用以太网协议，灵活优化和扩展。以 AWSTrainium 为代表，通过多路径、重传机制解决网络拥塞问题，适配多样化、动态化的智能计算需求。

趋势 7：节点互联成为核心竞争点，网络带宽实现跨越式提升

伴随智能计算的发展，节点互联成为超大规模智算集群的核心竞争点，其核心变革在于通信连接点的深度下沉与网络带宽的跨越式提升，实现了“计算部件间带宽>总线带宽”的突破，解决了传统总线的通信瓶颈。

英伟达NVLink 技术持续迭代，NVLink4.0采用四电平脉冲幅度调制技术（PAM4），双向带宽提升至 900 GB/s，成为当前节点内高速互联的代表性技术。NVLink5 已经用于 DGX 300 NVL72，NVLink6已发布技术规格。

除了英伟达的 NVLink，其他企业也纷纷推出自研的专用高速互联技术，例如谷歌的 G-ICI、亚马逊的 Neuron Link、华为的灵衢网络等，这些技术针对智能计算的通信需求进行定制化优化，实现了计算部件间的高速、低延迟通信，成为超大规模智算集群的核心技术支撑。

趋势 8：充分发挥光传输交换优势，提高全系统稳定性和能效比

电传输技术受限于传输损耗、延迟等问题，难以满足万卡级以上集群的稳定性、高带宽需求，这使得光传输技术成为重要选项。

光传输技术聚焦于近封装光模块（NPO）和共封装光模块（CPO）的竞争，

NPO 是指光引擎位于紧邻 ASIC（专用集成电路）的独立载板上，与 ASIC 间的物理距离小于 5 cm，光引擎围绕 ASIC 排列，通过短距离的电信号实现与ASIC 的通信。CPO 是光传输技术的发展方向，光引擎与 ASIC共享同一个封装基板，二者的物理距离一般小于1 cm，实现了彻底的融合，不可物理拆分。

CPO 的优势在于传输损耗小、能效比高，光引擎与 ASIC 的“零距离”融合，消除了电信号传输损耗和信号完整性差等，提升了通信带宽与速度，显著降低了功耗。

CPO 通过将光引擎与 ASIC 集成在同一个封装基板上，减少了设备的体积，适合智算集群高密度组网的需求。尽管 CPO 拥有显著的性能优势，但目前仍面临工艺复杂、成本较高、兼容性差等问题。

趋势 9：人才培养是智算生态竞争的核心要素

从行业发展的经验来看， 2010 年 前 后 IBM 的NPSG 系列网络处理器也面临与目前 AI 定制芯片类似问题，性能发挥高度依赖底层技术的优化。要解决问题，核心途径就是加强人才培养。

超大规模智算集群的生态构建，首先需要加强计算机硬件、编译原理、芯片设计、高速互联等领域的人才培养，通过高校专业设置、企业人才培养、产学研协同等多种方式，培育一支庞大的底层技术人才队伍，为生态构建奠定人才基础。

趋势 10：时间积累与市场验证是生态构建的关键路径

总体而言，超大规模智算集群不仅是节点技术与网络技术的创新，更是技术生态与智能体系的重构。马斯克于 2026 年 5 月宣布将 xAI 旗下 22 万张算力卡全部转租给 Anthropic 公司，从而盘活资产，调整 AI 布局，可见 AI 底座大模型生态竞争程度之激烈。2026年 6 月 24 日，OpenAI 宣布首颗定制芯片 Jalapeño 已经部署，Anthropic 宣布计划为 Claude 打造专用芯片。大模型公司开始研制计算节点芯片，将进一步加剧该领域的竞争。

来源：CDCC