[从零训练一个200B大语言模型] 12/25：这两千张GPU的网卡和网线，究竟怎么装？

上一篇把机器放进了机房的规划里。这一篇走到机柜背面：我们要把一台台独立服务器，接成能够共同训练的集群。安装团队手里需要的是一份能对照实物执行的接线单：哪张卡装在哪台机器里，哪只光模块插哪个口，一根光纤的另一头到哪台交换机。

我们先把一台服务器的一个出口接好，再按同一规则扩展到一柜、一个服务器组，最后整个机房。沿用第三篇的设备选择：八卡B200服务器、ConnectX-7网卡、400G InfiniBand交换机，以及配套光模块和光纤。这次重点看这些东西长在哪里，以及怎样装到一起。

先打开交货清单，认清哪部分已经装好了

B200是GPU的型号。我们采购的是装有8张B200的Exxact服务器，整机还包括处理器、内存、电源、风扇和扩展槽。安装人员面对的是一个可以上机架的机箱。

机箱里的8张GPU需要高速交换数据。HGX B200平台通过NVLink和NVSwitch完成这部分互联。整机商交付的系统应已经装配并验证好这些连接。机房安装团队的工作从整机验收开始，接下来处理的是机箱外面的网络。

NVLink：GPU之间的高速互联技术。本文用于同一台服务器内部。

NVSwitch：在机内连接多张GPU的交换部件。

外部训练网络需要另看订单。第三篇为每台服务器安排了8张单口ConnectX-7网卡，型号MCX75310AAS-NEAT。我们把它们连同安装位置、模块和验收要求写进整机订单，交给供应商集成。这样，到机房时可以直接对照清单检查八个训练出口。

网卡（NIC）：安装在服务器里、让它连接外部网络的部件。

如果网卡安排在现场安装，就由合格人员按厂商流程断开全部冗余供电、落实防静电措施，再完成安装。具体拆装步骤使用所购整机手册。这篇先把安装后的部件位置和接线关系讲清楚。

走到机箱背面，找到训练网卡的出口

从后面看一台服务器，最显眼的往往是电源、风扇和一排接口。先认清它们，才知道线应该插到哪里。

Exxact当前公开资料没有给出足够清晰的完整后板图。这里借一台同为8U、使用B200的ASRock 8U8X-TURIN2 SYN B200，按官方手册认识后板结构；采购方案仍是前文的Exxact，具体槽位按最终交付图对应。

按ASRock官方手册绘制的结构对照，项目采购型号仍为Exxact。点击图片查看原图。

在这台ASRock示例的后板上，左右两侧是电源，中间是风扇，上方有管理接口，底部左右各有4个扩展卡位置。网卡的金手指插进机内PCIe连接位置，带接口的金属挡板固定在机箱开口处；装好以后，网络接口就露在机箱后方。空的扩展槽提供安装位置，交货清单还要明确里面实际装了什么。

PCIe扩展槽：服务器内部用于安装网卡等扩展部件的位置。卡装好后，它的外部接口通常通过机箱挡板露出来。

管理口与训练口分开使用。管理接口让运维人员查看机器状态、远程控制设备；训练网卡承担GPU之间的大量数据交换。安装表会分别记录它们接到哪张网络，避免把外形熟悉的管理口当成训练出口。

这份计划给一台机器的8张训练网卡贴上NIC1到NIC8标签。标签先对应实际槽位，再记下卡的标识，写入交付表。这里的1到8是项目编号，不表示所有厂商都从机箱左边开始按这个顺序排列。

一张网卡、一只模块、一根光纤，先把第一条线接出来

这里连接训练机器的“网线”选用配套多模光纤。现在站在第一组第1台机器G1-S01后面，找到标着NIC1的出口。我们选的是单口400G网卡，卡外露的OSFP插槽先装入一只MMA4Z00-NS400光模块，再连接光纤。模块前面接光纤的小口是MPO-12/APC接口；配套光纤两头各有一个对应插头，插入的是模块，不是机内PCIe槽。

光模块：把设备电信号转换成光信号、并接收光信号的部件。模块插进设备接口，光纤插进模块。

MPO：把多根光纤集中在一个插头里的连接器。本文按配套要求使用MPO-12/APC规格。

400G：这里表示每个网络连接标称每秒4000亿比特的传输能力。

光纤的另一头去交换机。我们选择的NVIDIA Quantum-2 MQM9700-NS2F，面板上有32个OSFP插槽。每个插槽装一只双口MMA4Z00-NS模块，就能引出两条独立的400G连接。因此，32个插槽对应64个逻辑端口。

OSFP：本文光模块及其插槽使用的外形规格。选模块时还要匹配具体网络、速率和距离。

逻辑端口：网络中独立使用的一个连接端点。本文一个交换机插槽中的双口模块提供两个这样的端点。

配套部件装配示意；每条光纤独立连接一个400G端口。点击图片查看原图。

这就把第一条线变成了可以拿在手里安装的东西：G1-S01的NIC1装单口模块，接一根配套光纤；光纤另一头插进交换机L1-1上某只双口模块的一个接口。另一半接口留给另一台服务器，各自是一条400G连接。服务器侧使用平顶单口模块，交换机侧使用带散热鳍片的双口模块，按设备配套分别安装。

为了把具体位置写进表，我们把交换机面板上的第1到第32个插槽标记为J01到J32，每只双口模块的两个接口再标A、B。这是本项目的接线标签；集成商同时把它映射到厂家端口编号和管理软件里的端口名称。现场标签与软件查询就能指向同一个位置。

安装一条光纤时，先核对两端模块及光纤型号，按厂商方法检查、清洁端面，再按接口方向插接并确认锁定。配套光纤按规定的连接器和极性选型，不能只看插头似乎能插进去。剩余线缆沿理线器和线槽收好，维护余长留在指定位置，弯曲半径按线缆规格执行。

把第一条线复制成一柜、一个组

上一篇每柜放两台服务器。一个这样的柜子有16个训练出口，两台机器各8个。它们都要接到交换机，所以先给每台机器独立编号，不能只写“这个柜子的第1根线”。

我们把256台训练主机分成8组，每组32台。每组的32台主机配8台下层交换机，称为leaf。第一组的所有NIC1接L1-1，所有NIC2接L1-2，一直到NIC8接L1-8。

Leaf：直接连接服务器的下层交换机。

一组32台主机的布线示意，机柜经顶部线槽接到8台leaf；图中设备后板细节简化。点击图片查看原图。

一台leaf因此收到32根服务器光纤。每只双口模块接两根，先用前16个插槽J01到J16，就能接齐这32台主机。前几根线的记录如下：

标签在光纤两端都保留。比如拿起G1-S03-N1，就知道它从第3台服务器的NIC1出发，到L1-1的第2只模块A口。安装人员可以按表接线，验收人员也可以反过来逐根核查。

同样的规则用到8组主机，就得到64台leaf和2,048根服务器侧光纤。8台备用服务器保留对应的8张网卡，替换故障机器时接入原位置的线。因此网卡采购数量是264 × 8 = 2,112张，正常训练接入的出口数则是256 × 8 = 2,048个。

交换机之间再接一层，把八组机器连起来

每台leaf刚才用了前16只双口模块，还剩后16只，也就是32个400G接口。我们把它们分别连到32台上层交换机P01到P32，每台一根。这些上层交换机称为spine。

Spine：连接各台leaf的上层交换机。

因此，在L1-1上，J17-A接P01，J17-B接P02，依次排下去，J32-B接P32。P07对应的是J20-A。这一根线的另一头，在P07上又插哪里？

给全部leaf一个固定顺序：L1-1到L1-8，随后L2-1到L2-8，一直到L8-8。每台spine按这个顺序接64台leaf，前两台用J01-A、J01-B，接着用J02-A、J02-B，最后两台用J32-A、J32-B。这样，P07的J01-A就留给L1-1。

这张表采用的是我们刚定义的项目标签。正式交付时，把每一项补上厂家实际端口名，生成完整的4,096条链路清单。每台leaf都连接全部32台spine，八组服务器因此处在同一张互通网络中。

代表性机柜与线槽示意，完整数量按图中标注读取；每台leaf连接全部32台spine。点击图片查看原图。

整套配件数量也可以顺着安装动作核对：64台leaf加32台spine，共96台交换机；每台装32只双口模块，共3,072只。服务器侧配2,048只单口模块。服务器到leaf有2,048根光纤，leaf到spine也有2,048根，总共4,096根，两端都能在接线表找到位置。

线从哪里走，接好以后怎样交付

设备之间的光纤沿机柜理线器进入机房线槽，再落到目标柜。第三篇按30米光纤做采购预算，施工前按实际走线逐条确定长度。机柜之间的直线距离之外，还要加上上升到线槽、沿通道转弯、落线和维护余长。

本文这套光模块搭配OM4多模光纤时支持最远50米，搭配OM3时为30米，具体组合按官方兼容资料选择。路线更长时，重新选择匹配的模块与光纤方案。每根线的型号和长度也写进接线表，避免把外观接近但规格不同的线混用。

交换机安装方向要与上一篇的冷、热通道一致。MQM9700-NS2F从电源端进风、光口端出风，所以电源侧朝冷风侧，光口侧朝热风侧。我们在这个方向上安排光纤理线和维护空间，接线方便与散热一起落实。

分批进场时，A区的128台训练主机先接32台leaf，全部32台spine一并装好。每台spine先用一半接口接第一批leaf，另一半留给B区。第二批再接余下32台leaf，沿原表补齐连接。管理和存储网络另行接线，不占已经分配完的这些训练端口。

交付时先核实物，再核软件。实物检查逐条对照机器编号、网卡位置、模块型号、两端端口和线号；软件检查确认八张网卡都被识别、预期链路建立、速率正确且没有异常错误计数。NVIDIA的链路验证工具文档及拓扑对照功能，可以用于把现场接线与设计清单对应起来。

最后再从两台机器通信扩大到整组、整厅的训练试跑，验证有效带宽和故障恢复达到约定标准。安装交付物也随之完整：一份实际槽位与网卡对应表、一份模块与光纤清单、一份带两端位置的接线表，以及现场检查和运行测试记录。

交付时，这几张表长什么样？

沿着刚接好的设计路线，拿G1-S01的NIC1到L1-1的J01-A做一套交付样例。下面填的是项目计划与演示资产标签；真实序列号、槽位映射和测试结果，在设备到场后记录。四张表使用同一组编号，因此可以从机器一直查到验收记录。

第一张表先解决“NIC1究竟是哪一张卡”。项目编号可以先定，厂家实际槽位和序列号则从交付机器上采集。

第二张表用来备料。它列完整方案需要的模块和光纤，再指出这条示例连接取用了哪一件。比如L1-1的J01是一只双口模块，A口给S01，B口给S02，两个接口共用同一只模块。

第三张表给安装人员找两端。已有的项目接口标签保留，交付时旁边再补厂家和软件使用的端口名。下面两行分别展示一根服务器线与一根上行线；完整清单按同一格式扩展到4,096条。

第四张表把“接完了”与“验过了”分开记录。计划标准提前写好，现场人员按方法检查，再填写实际值、日志和判定。比如这里的400Gb/s是要核对的连接速率，不能当作已经测得的训练吞吐。

从第一张表找到卡，从第二张备齐部件，按第三张接线，再由第四张留下验证结果，交付记录就跟实际设备连起来了。

这样，下一位工程师站到机柜后面，就可以从一张NIC标签一路找到光模块、光纤和交换机接口，知道这根线为什么在这里，也知道更换设备时怎样接回原来的位置。