超节点服务器 Rack 主要由计算节点 Computer tray、交换节点 Switch tray、TORswitch 交换机、供电单元 Power shelf、供电母线 Busbar、电缆桥架 Cable tray、液冷散热配套等单元组成,随着超节点服务器渗透率不断增长,除了持续带动对算力卡、交换芯片、交换机的需求外,也有望持续拉动高功率电源、高压 UPS/HVDC、服务器液冷散热、铜缆、PCB、光通信等板块的需求。
以 ETH-X 超节点方案为例:
(1)Computer tray 是 Rack 中的核心部件,内部包含 GPU、CPU、PCIe Switch、内存条、存储等部件。四个 GPU(OAM)适配在 Carrier Board 上, 单板上集成两颗PCIe Switch 来扩展接入GPU、网卡和存储设备,通过后向的背板连接器提供 GPU的高速互联信号给 Switch tray。此外,节点内采用风液混合方式散热,GPU 和 CPU搭配液冷冷板套件。
(2)Switch tray 用于连接 ETH-X 超节点机柜内计算节点上的 GPU 芯片,提供超大的互连带宽,在单机柜内支持 GPU 芯片全带宽 scale up 互连,同时如需进一步扩展 HBD 域,需要支持多机柜的 scale up 互连。Switch tray 内部包括交换芯片、CPU、BMC、SSD、或额外的光端口以及管理接口等部件。此外,节点内采用风液混合方式散热,交换芯片搭配液冷冷板套件。
(3)供电方面,Rack 内最多支持 4 个 Power shelf,最大功耗支持 132KW,其中 PSU 数量可根据系统最大功耗按需配置,支持 N+2 冗余,采用 BUSBAR 供电。
(4)制冷方面:伴随芯片及机柜总功耗的持续提升,Rack 内由风冷逐步转变为风液混合,液冷为主,风冷为辅,液冷占比 80%以上,未来有望最终转变为全液冷方案。除节点内 CPU、GPU、交换芯片等布局需搭配冷板模组外,还需搭配使用快接头 UQD、Manifold、CDU 等布局。