[从零训练一个500B大语言模型] 11/25：训练开始以前，怎样给这些GPU准备好机房？

第十篇里，补充教材经过制作、筛选和验收，终于能交到训练这条线上。可材料准备好，训练还启动不了。采购单上的GPU要先有一个能持续工作的地方：放得下，送得进电，也排得走热。

我把第三篇的设备表重新摊开。640台主训练服务器，20台备用，共660台。单台看起来只是一个机箱，数量乘开以后，安排它们住下已经是一项完整工程。

场地方案仍对着佐治亚州Flexential的Atlanta-Douglasville 2来做。先把目标画清楚：同园区三个4.5兆瓦厅，合计13.5兆瓦IT容量；每柜两台，660台组成330个计算柜。这个摆法能不能落地，要让位置、电力和散热在同一张图上对得起来。

两个厅的电，为什么还不够？

最先划出的边界是园区。5,120张活跃GPU训练时要频繁交换结果，主训练放在同一园区，三个厅之间安排专用连接。光纤怎样跨厅，下一篇再沿实物接；眼前先确定这条连接必须留在场地方案里。

打开Douglasville 2的公开资料，项目给出36兆瓦关键负载与高密度机柜能力。厅规格资料曾列出单厅4.5兆瓦、约24,000平方英尺，折合2,230平方米。于是需求落到了三个具体大小的厅上，询价也有了可以核对的容量与面积。最终厅号、平面图、进场日期由交付协议锁定。

IT容量：机房能够供给服务器、网络和存储等计算设备的电力。机房自身的制冷等设施另外用电。

为什么要三个厅？把服务器先单独加起来，答案就出现了：每台按14.5千瓦规划，660台已经是9.57兆瓦。两个4.5兆瓦厅合计只有9兆瓦，连服务器这一行都接不住，更别说网络与存储。三个厅才给整套设备和工程余量留出空间。2026年8月官方公告仍把当地36兆瓦项目列为建设中，因此要拿这份13.5兆瓦需求向运营商落实容量与交付日期。

电进来以后，几乎都要变成热，再被送出去。图里黄色线路沿配电设施进入机柜，蓝色冷风穿过设备，红色热流返回冷却系统。把这两条路都走通，服务器才有持续工作的条件。

点图查看高清原图。

第一批机器还没进场，第二批的位置也得先安排。否则早到的设备装好了，后到的可能找不到连续的容量。整套位置先定下来，安装再分批推进。接着把视线收进一个柜子，看看这份大方案最小的一块怎样成立。

一个柜子放两台，剩下的空间怎样用

柜子要装什么，先由实物决定。第三篇选用的Exxact TS4-142487900每台装8张B200，机身高8U、深930毫米。8U约35.6厘米，已经不是桌面机箱的体量。

U：机架设备的高度单位，1U约4.45厘米。

我把APC NetShelter AR3350B2列为候选柜型：42U高，750毫米宽，1,200毫米深。先将两台服务器放在下部，占16U，较重的设备位置低一些，也便于安装维护。后面留给供电与线缆，空着的面板位置用封板挡住。

42U只装16U，看起来浪费。继续算下去，真正先用满的却可能是供电与散热。两台各14.5千瓦，共29千瓦；持续运行一小时，仅服务器就会用约29度电，并把相应热量留给机房处理。每柜两台，是这份计划对密度作出的选择，方便把单柜电力、冷却和维护先做扎实。

千瓦（kW）：表示用电功率。

千瓦时（kWh）：表示消耗的电量，也就是电费里的“度”。以29千瓦运行1小时，消耗29度电。

热从哪里出去，也随这两台机器一起安排。方案采用风冷设备与封闭热通道：冷风从正面穿过服务器，热空气从背面集中进入回风通道，由机房带走。空位置的封板能减少热气绕回前面。一个柜子要承接至少29千瓦规划热负荷，再按最终设备要求留下工程余量。

热通道：机柜背后集中排出热空气的通道。把它与冷风侧分开，可以减少冷热空气混合。

要让图上的风路变成实际安装条件，设备商还需确认整机支持的冷却条件。Exxact公开页面没有列全风量、重量与导轨要求，采购文件就把这几项列进设备参数，随后与柜型、冷却方案一起锁定。

沿Rack A再往里打开：柜子里两台服务器，其中一台里面有8个GPU模块。机房、柜子、服务器、GPU，采购单上的数量终于各自落到了一个位置。

点图查看高清原图。

图中保留机房与设备的安装层级，机内布局作了简化。

再核对功率的出处。2026年10月27日，Exxact配置器选入八张训练网卡后给出的估值是14,427瓦，计划取整到14.5千瓦；正式接电仍按供应商确认的订购配置。尺寸也要这样核：柜深1,200毫米，不能直接推断导轨、插头与弯曲线缆都放得下。先完成一柜样装，确认位置、电与风路，再复制到其他柜。

这一个样柜，具体核对哪几个数？

样装先量空间。APC AR3350B2资料列出高1,991毫米、宽750毫米、深1,200毫米，最大安装深度1,048毫米，静态承重1,814.4公斤。Exxact机身930毫米深，导轨、插头、线缆弯曲还要继续占空间。柜体、两台服务器、配电和线缆加起来的重量，也要沿地板与搬运路线逐段核承载。

接着核电源路径。配置器列出12个电源、6+6冗余，设备商需给出对应机房A/B两路的接线图，标清插座、额定电流以及一路故障后的运行状态。电源的额定能力决定路径怎样设计，正常耗电仍按设备负载计算。

一柜放得下，330柜怎样排？

样柜定下来，数量就能展开了。660台分成330柜：320柜装640台训练主机，10柜装20台备用。网络另把主机分成五个pod，每个128台。我把这五组顺着三个厅排下去，下一篇接线也沿用这个分组。

Pod：这份网络方案中，由128台训练主机及其两层本地交换机组成的分组。

看上去柜子不多大，占地一乘却容易漏东西。330 × 0.75米 × 1.2米 = 297平方米只算柜体脚印。维修与冷却通道、网络柜、安装周转、设施位置都还在外面。把132、132、66柜连同这些区域一起放进真实平面图，再看门、柱子、地板与线槽，位置表才能成立。

位置分好了，电力也按同一张表分。先在三个厅的总额度里逐项扣掉设备：

这张账要避免重复。交换机使用官方带有源连接的最大功率，交换机侧光模块就不再单加；0.5兆瓦其他IT设备先作为设计额度，配置确定后换成清单。冗余电源增加的是备用路径，也不叠加成正常耗电。

总数够，还要各厅分别够。厅A、B各264台服务器、128台交换机，各需4.04816兆瓦；厅C有132台服务器、160台交换机，另加0.5兆瓦其他IT额度，共2.68920兆瓦。三行都在各自4.5兆瓦内，运营商便能沿设备表进一步确认供电与排热。

兆瓦（MW）：功率单位，1兆瓦等于1,000千瓦。

这时又碰到预算里的另一个数字：第三篇用10兆瓦运行负载估电费，这里却保留13.5兆瓦。前者算运行时用了多少，后者为设备留出可用容量。实际电量跟着电表和合同走，冷却等设施用电按相应PUE另计，这两张账各有用途。

位置定好了，机器要一次全部进场吗？

整套位置和容量对齐以后，才轮到到货节奏。第一批330台，其中320台训练、10台备用；第二批相同。沿第三篇目标排期，第4月、第6月各到一批，三个厅从第4月一同起租，让后到设备仍有连续位置。

分批搬机器，基础设施却不能机械对半切。首批联调就需要共享核心与存储，它们得提前安排；整厅容量也已经保留。第4、5月电费按半运行负载估算，现场记录再替换估值，租金与配套设施仍沿各自合同计算。

安装按相反方向逐步放大。先验一台，认齐GPU、网卡、电源；再让同柜两台一起跑，观察回路、温度与告警；通过后扩到其他柜，最后接上跨厅通信、持续供数、故障恢复。第二批沿同一张位置表加入，640台主机齐了，再做全规模验收。

冗余：为故障准备额外的能力或路径，例如A路供电失效时，由B路接住约定的负载。

灯亮了，怎样证明它们能一起训练？

看到机器灯亮起来，现场还不能交给训练团队。我要拿到的是一份能证明“这些设备能一起工作”的记录。于是把交付拆成五级，每一级都写出怎样判定：

表里的“通过”还要有具体数值。采购与集成合同按这套设备确定温度、性能等门槛，到货前就写进测试表。现场某项没过，便能沿记录找到设备、回路或服务，修复以后重复同一项测试。

这样的交付顺序也能对照NVIDIA的DGX B200指南：投入使用前先做健康检查与负载测试。我们的工具由Exxact设备商提供，记录则从单机、单柜、首批一路汇总到整集群。

这时，660台机器在计划里才有了一个完整的家：同园区三个厅，13.5兆瓦容量，330个双机柜，分两批安装，并按同一套标准验证电、风路与协作。还有一件事留在图上：机柜之间的金色连线，现在仍是一道笔画。下一篇走到机器背面，把它变成网卡、模块、光纤和能逐根核对的接线表。