[从零训练一个500B大语言模型] 3/25：完整预算要准备多少钱？

采购表的最后一行停在3.02亿美元。640台主训练服务器，加上20台备用机，连训练网卡都算进去了。可我沿着清单看了一遍，机器还没有地方放，彼此连不上，也没有人负责让它们跑起来。

上一回算出的76天，只是5,120张B200开始训练以后，处理500B稠密模型和10T token的主训练窗口，计算值约75.4天。要走到开训那一天，还有一段路。于是，我在采购表右边加了两栏：什么时候能用，什么时候要付钱。服务器与交换机价格核对到2026年10月27日，其他来源保留各自的资料日期。

这次要做的，是让纸上的服务器变成一套能工作的系统。顺着机器进场的路往下查，缺什么就补什么，再把每一笔支出放进日历。完整预算也会沿着这条路长出来。

这么大的订单，先问为什么要买

三亿多美元摆在眼前，我先停了一下。只跑一轮，租一段时间就结束，是否更合适？云端询价因此也列进清单：5,120张B200同时可用，连续76天，带配套训练网络，还要写清可用日期、独占范围、故障替换和计费条件。租用方案能让第一次试验的结果反过来帮助采购。

这套计划要持续做多轮研发，机器训练完一轮以后还会接着用。我把自购保留为主方案，继续沿着一款具体配置算账。2026年10月27日，Exxact八卡B200 AMD配置器在选入8张400G ConnectX-7网卡后，显示457,798美元一台。配置包括双EPYC 9554、1,536GB主存、1块3.84TB固态盘、8张B200和三年保修。网卡已经进入这笔整机价格，后面的网络表只另算交换机、光模块和光纤。

660 × $457,798 = $302,146,680

640台主机负责训练，提供5,120张活跃GPU；20台备用机另带160张GPU，形成3.125%的主机维修余量。坏掉一台，就由备用机接替它的位置。这份清单要连同完整配置、网卡料号、交付批次、保修和验收要求一起发给供应商，采购范围才算清楚。

集群：协同工作的多台服务器。

询价单（RFQ）：发给供应商、请对方报价的需求清单。

交换机选哪一种，线怎么接？

整机配置算清了，我把目光移到服务器背面。每台里面的8张GPU已经有高速连接，可一台机器算完的结果，还要送到别的机器。为每张GPU配一个400G训练网卡出口，640台主机就有5,120个出口。接下来要给这些出口铺路。

我先在网络清单里选定NVIDIA Quantum-2 MQM9700-NS2F，每台64个400G逻辑端口。Colfax公开目录显示每台34,555美元。这一规模采用三层连接：主机先到leaf，leaf到本组的汇聚交换机，再由核心连接不同组。

为了检查这条路是否通畅，我在图上沿着一份计算结果走：它从服务器出来，经过本组的leaf和汇聚层，再由核心送到另一组服务器。每层都给上行保留与下行相当的带宽，让机器交换结果时有足够的通道。这份设计需要160台leaf、160台汇聚和96台核心，共416台交换机；按公开单价计算，交换机这一项为14,374,880美元。

网卡（NIC）：给服务器提供网络连接的部件。

交换机：连接多台设备，让它们交换数据的设备。

Pod：本方案中128台训练主机及其本地交换机组成的分组。

Leaf：紧靠服务器的下层交换机。

汇聚层（aggregation）：连接一个pod内的leaf，再将数据送向核心的中间层。

400G：每条连接标称每秒4000亿比特的传输能力。

这一路走下来，交换机数量可以对上：160 leaf + 160汇聚 + 96核心 = 416台。服务器到leaf、leaf到汇聚、汇聚到核心各有5,120条连接，合计15,360条。这里先把端口和带宽算平；集成商再按NVIDIA支持并行链路的网络管理方式配置路由，用目标训练任务验证跨pod通信与故障恢复。

核心层（core）：连接不同pod的上层交换机。

拓扑图：画出设备之间谁连着谁的连接图。

端口算平以后，线的长度又带来一个问题：这些机器能否全放在一处？场地布局先按同园区三个厅展开，距离随之进入采购表。厅A放pod1、2，厅B放pod3、4，厅C放pod5及核心。四个远端pod到核心共有4,096条跨厅链路，采用NVIDIA MMS4X00-NM双400G单模模块作为500米范围内的候选；现场按实际光路与损耗核定。其余11,264条先按厅内短程路径安排，超过多模距离的路线再调整模块及线材。

展开核对：416台交换机和光模块数量怎样算出来？

把640台主机分成5个pod，每个pod128台。每个pod有32台leaf，每台向下接32个网卡出口，向上用剩余32口分别连接本pod的32台汇聚交换机。汇聚交换机也用32口向下、32口向上，两边的带宽相同。

核心分32组，每组3台，共96台。每个pod的第j台汇聚连接第j组核心，上行32条分成11、11、10条。五个pod汇合后，三台核心分别使用55、55、50口，都在64口以内。

双口模块共12,832只。核心55、55、50口分别需要28、28、25只模块，留下64个空半口；这个余数也已经算进采购。

插槽和线缆还要继续细化，第十二篇会把这份清单对应到真实插槽和英文交付记录。眼下先拿着这些机器和线，找能够容纳它们的场地。

光模块与光纤已有数量，最终距离和兼容组合确定后再取得总价。我给这笔报价留了一个位置，记作O。共享存储、独立存储与管理网络、软件支持也各自列出范围，往后收到价格，就能知道它究竟补上了系统的哪一部分。

光模块：将设备电信号与光信号相互转换的部件。

单模与多模光纤：两种光传输介质。连接距离、模块及连接器必须配套选择。

具体问哪几座机房？

机房能放多少台，要先从电开始算。660台服务器按每台14.5kW设计额度，合计9.57MW。416台交换机按官方含有源连接的最大1.720kW口径计0.71552MW，再留0.5MW给存储、管理与其他IT设备。算完这些，我把需求定为同园区三个4.5MW厅，合计13.5MW，剩余2.71448MW作为设计余量，交给运营商核对。

电力有了轮廓，再把机器放进机柜：每柜两台，660台就是330个计算柜。厅A、B各放264台服务器及128台交换机，各约4.04816MW；厅C放132台服务器、160台交换机及0.5MW辅助设备额度，约2.68920MW。三厅的电力账对得上了。接下来，机柜、冷却、承重与光路还得在真实平面图上同时放得下。

kW（千瓦）：功率单位，1kW等于1,000瓦。

MW（兆瓦）：功率单位，1MW等于1,000kW。

kWh（千瓦时）：电量单位，也就是电费里的“度”。

带着这份需求筛选场地，我把佐治亚州的Flexential Atlanta-Douglasville 2放在优先询价的位置。它公开36MW关键负载、80+kW/柜及高密度能力，之前的厅规格为4.5MW。询价文件里列出三个要点：三厅能否同批交付、厅间光路有多长、13.5MW的完整价格是多少。2026年8月公告仍将当地36MW项目列为建设中，实际厅号与进场日期由运营商确认。

只盯一家，开训日期就会被一家牵着走。其他候选也按13.5MW重新筛选。下面是2026年10月18日整理的供应资料，联系时还要更新容量与交付日期：

场地名单有了，计划也需要一个明确的租金数字。截至2026年11月4日，本计划采用每kW每月165美元，电费另计。CBRE 2026年上半年Atlanta报告给出的10MW以上询价区间为每kW每月150至165美元。这是13.5MW高密度AI部署，预算不从市场最低值起算，因此采用区间上沿165美元。这个数字是规划估算，不是供应商报价。

13.5MW等于13,500kW。按第4月至第12月共九个月计，规划租金是：

13,500kW × $165/(kW·月) = $2,227,500/月

$2,227,500 × 9 = $20,047,500

运营商报价回来后，再替换这项规划估算。押金、最低租期、现场服务和用电计费一起谈，价格才可比较。

租下容量后，设备实际用电还会继续产生费用。我给运行预算填上：完整集群IT负载10MW、PUE 1.4，每月730小时、每度0.10美元。完整月为：

10,000 × 1.4 × 730 × $0.10 = $1,022,000

第4、5月先按半负载，第6至12月按完整负载，共相当于8个完整月，首年817.60万美元。10MW是运行预算，13.5MW是租用容量；等设备开起来，再用电表与合同更新这一栏。

PUE：机房总耗电除以IT设备耗电。PUE为1.4，表示设备每用1度电，机房连同制冷等设施共用1.4度。

托管、自建和多地点，各适合什么工作？

看到租金这一大块空白，自建机房也值得放到旁边比较。我先查了最影响工期的事：电什么时候能接进来。JLL的2026年展望给出主要市场接电等待平均超过四年；其中每MW约1,130万美元建设成本基于50MW风冷设施主体与核心工程，不含土地和IT设备。我们的13.5MW方案还要另算土地、设计、接电、施工、调试、设施团队与长期资产价值。

这条接电时间线，让首年计划继续走托管路线：先找到有供电条件、能给出书面日期的容量，再按场地日期安排设备到货、扩招和起租。

分散租几个地方，看起来能更快拼够容量，却会把主训练的通信拉远。我把数据处理、独立实验与教师生成留给可以分散的地点；同一次主训练仍放在同园区三个厅，以专用训练光路相连，再实测吞吐，检查76天排期。

托管：把自己的服务器放进别人运营的机房，租用场地、电力与冷却条件。

延迟：一份数据从发出到到达需要的时间，它影响机器等待结果的时间。

二十个人逐个算，先招谁？

分布式训练：让多台机器协作完成一次训练。

评估：用测试任务检验模型的表现。

后训练：在基础模型上继续训练，让它更好地完成任务、遵循指令。

SRE：保障系统可靠运行的工程工作，包括监控、故障响应与恢复。

M1：项目第1个月。表中的M2、M3等按同样方法表示后续月份。

场地和机器列在表格里，还需要有人把它们真正运转起来。我把开训需要的工作逐条分出去，初始工程编制排到二十人：模型5人、数据4人、分布式训练3人、基础设施3人、评估与后训练4人，再加一位项目负责人。这套编制复用现有训练软件，机房设施和现场安装交给外部伙伴。内部人员因此能够把时间集中在模型、数据和训练上。后续工作量增加或外部服务承接不足，就从缺口反推需要补的岗位。

岗位排出来以后，每一行都要有能吸引人的薪酬。我先按美国公开招聘区间逐岗做预算。训练工程岗位的基本工资区间为20万至29万美元，GPU系统岗位为20万至30万美元，数据工程岗位为18.2万至24.2万美元。先用这些区间建立预算，再根据候选人的职责与经验确定offer；需要顶级实验室首席科学家时，单独安排该岗位的薪酬。 这套方案面向有大型训练或集群经验、愿意承担早期技术所有权的人：负责人奖金20%、工程师15%，是我们为职责和现金安排做的选择。候选人还会看研究空间、算力条件与团队，因此把股权和技术决策权一起放进招聘讨论。

招聘也不能等机器到了才开始。我把项目和模型负责人列在最前面，以这两位负责人就绪、第一笔启动资金可用作为M1的起点，再从这个起点倒排筹备。第1月给这两位发薪，其余四位工作线负责人以第2月到岗为目标，提前开始搜索。第2月的大采购需要基础设施和分布式负责人审过配置，缺人就顺延决策。SHRM 2026招聘基准给出的非高管岗位填补时间中位数是39天，这个跨行业指标计到接受offer；排入职计划时还要加上报到和上手时间。

只填基本工资，招聘账还不完整。候选人会把四部分放在一起看：基本工资、绩效奖金、入职奖金和股权。六位负责人目标奖金为基本工资的20%，其余十四人为15%；项目在第12月结算，按当年实际在岗月数计。负责人入职奖金5万美元，其他岗位2.5万美元，在到岗月支付。基本工资之外继续预留25%的雇主税费与福利；奖金和入职奖金再预留8%的增量雇主支出。这样，福利只计算一次，新增现金也有位置。

顺着到岗月份逐个往下加，人数依次是2、6、8、10、14、17，第7月起20人。首年基本工资357.03万美元，原有雇主税费与福利89.26万美元，绩效奖金60.86万美元，入职奖金65万美元，奖金相关雇主预留10.07万美元，合计582.21万美元，比只算基本工资与福利增加135.93万美元。例如，第7月加入、年基本工资24.5万美元的工程师，首年奖金为 245,000 × 15% × 6 ÷ 12 = $18,375。第12月团队现金支出因此升至115.71万美元。

现金薪酬之外，还要让早期成员参与公司长期的收益。我按融资后完全稀释口径，为股权池留出10%，上表首批授予合计4.35%，余下5.65%用于后续招聘与追加激励。四年归属，满一年归属25%，以后按月归属。股权通过未来收益参与吸引人才，当期现金支出为零，代价体现在股东持股比例的稀释。表中两位首批负责人也按员工岗位安排，创始人的持股另行确定。 Carta于2026年发布的薪酬报告显示，2024年1月至2026年2月，AI/ML工程师初始股权授予中位规模增长31%，工资中位数增长9.1%；这也是招聘方案要同时安排现金与股权的原因。

最后检查一遍谁来处理采购和日常故障，避免技术岗位齐了、事情却无人接。项目负责人批准采购和付款，技术负责人制定规格与验收。外部法务、采购和财税人员处理合同、交付责任、税务文件与工资服务，按本项目采购与人员范围取得年度服务报价。机房负责楼宇、电力和冷却，集成商负责约定的安装、布线与验收，设备商负责约定的保修。内部三位基础设施工程师负责配置、监控、故障定位和恢复；24小时现场换件与响应要写进外部服务合同，让现场团队承担轮班响应。

股权池：公司为员工激励预留的股份份额。

完全稀释口径：计算持股比例时，把已有股份和期权等可能转成股份的权益一起计入分母。

归属：员工按任职时间逐步取得约定权益。

稀释：新增股份后，原股东持有的公司百分比下降。

资金到位以后，多久能开始训练？

人员逐月到岗，机器也要配合这个节奏。把660台服务器拆成两批，每批330台，其中320台训练、10台备用，可以分开安装和联调的工作。目标是第2月完成采购审查，第4月和第6月交货，第7月完成全规模验收，第8月开始76天主训练，延续到第10月。把这份顺序交给设备商和机房，一起确认可执行日期。

日历排到第4月，另一个细节冒了出来：首批机器只有一半，核心网络和场地却不能机械地减半。三个厅从第4月一起起租，共享核心与存储也要配合首批联调提前部署。分批到货能分开安装工作；设备订金、发货款与验收尾款则按采购合同安排。首批主机只有一半，不代表全部网络或租金也减半。电费里的半负载是起始预算，现场用电记录再替换它。

设备日期排好了，开训还得等材料。我把数据线放到同一张日历，第1至2月先做小样：测文件取回、清洗、去重和分词的速度，确认许可，抽检质量，用小模型比较配方。第七篇将约5T独立合格库存作为建设目标，再分配成10T累计训练量；各来源不能直接相加当成已经交付的库存。

小样测出生产速度后，再把数据生产排入第3至6月，第7月验收来源清单、去重结果、分词器、库存和采样配额，同时测持续供数。四条线都接上，开训日期才站得住：设备、场地、数据和训练团队，最晚就绪的那一条决定开始时间。任何一条延期，都沿着日历重新排安装、训练与合同付款，再检查资金缺口。

分词器：决定文字怎样切成token的工具。

去重：识别并删除材料中的重复内容。

评估污染：测试题或答案进入训练材料，使测试成绩高估实际能力。

把设备和运营汇成一张账

沿着机器进场的路查完一圈，我回到最初的采购表。现在能按公开单价或已选计算口径加起来的，有四项：

当前规划小计已经走到约3.5057亿美元。其中服务器与交换机约3.1652亿美元，首年工资和电费约1400万美元，规划租金2,004.75万美元。光模块、存储和服务继续逐项加到同一张账，每一项都单独占一行。

光模块与光纤总价记作O。其余需要取得完整报价的项目合记X：共享存储与独立网络、运输安装、保险税费、数据许可与处理、教师生成、软件支持、外部现场运维、法务财税和前期云实验。每项在报价里列交付量与服务期；整机已含的网卡和保修不重复加入。

于是首年完整预算的计算方式是：

首年采购与运营 = $350,567,156 + O + X

这条总公式中的各项都以美元计。O和X仍是等待报价的对应项目总额；3.50567156亿美元的规划小计已经包含按每kW每月165美元计算的九个月租金。等其余报价归齐，再用运营商价格替换规划租金，并按完整预算留10%风险额度，得到总资金覆盖目标。这样总额可以随报价变化，同时保留每一项变化的原因。

再看一次二十人的编制，能否撑起这张账取决于工作怎样交接：训练软件复用，现场轮班和物理安装由外部伙伴承担。新增三厅和三层网络带来的现场工作，写进X中的安装、运维与响应合同；数据处理量则按试产吞吐和第3至7月进度检查。需要增加内部人员时，明确新增岗位与到岗月，再更新薪酬表。

一次性采购：买下设备并完成安装所需的支出。

运营支出：持续发生的工资、租金、电力等费用。

权益资金：股东投入公司、换取公司权益的资金。

设备贷款：用于购置设备的债务，按合同还本金、利息和费用。

新公司能拿到设备贷款吗？

总额涨到这个量级，分期采购能否减轻前期压力？我先去看设备融资方愿意借钱给什么样的公司。给别人提供算力的公司，可以拿客户合同和持续服务收入说明月供从哪里来。眼前这份计划先花钱训练自己的模型，收入还在后面。贷款方要评估的，是股东投入、可用现金、未来收入的可信程度，以及设备处置后能收回多少。GPU有转售价值，仍然需要把公司的还款来源讲清楚。

Data Sales公开的设备租赁额度上限是5000万美元。它的Ori案例更能说明这类融资怎样发生：Ori已经开发平台五年，为履行客户合同采购GPU，首次租赁规模为数千万美元，随后随着业务增长扩大合作。读到这里，5000万美元的上限就有了上下文：Ori有客户需求，也有业务基础。眼前的新公司需要拿自己的财务与商业计划去申请，才能知道融资方愿意提供多少。

我继续找接受早期公司的渠道。NFS Capital的官方说明明确接受初创和未产生营收公司的申请，逐案审批；资产贷款按信用情况可能增加现金账户、有价证券等信用支持，或涉及认股权证等安排。Exxact的销售FAQ也提供金融伙伴的租赁与定制融资渠道，条件随地区和信用记录变化。这些渠道进入询价清单，待审的是批准金额、首付、资金价格、担保和提款条件。资金表中的设备贷款仍填零，取得本公司的具体授信后再把它加进去。

融资报价回来后，还要顺着还款时间表往后看：担保责任由谁承担，何时能提款，提前还款怎么收费，期末怎样买断。每期本金、实际报价利率和费用一并放进现金表，才看得出今天少付了多少、以后又要付多少。

授信：融资方审查后愿意提供的额度与条件。

提款：实际取用获准借款的动作。

本金：实际借到的钱。

利率：计算利息的比例，融资费用还要另算。

担保：由担保人按约定承担还款保障责任。

抵押：以特定资产为偿债提供保障的安排。

认股权证：让持有人在约定条件下购买公司股份的权利。

付款可以分开，先把合同谈清楚

设备融资暂时填零，并不意味着所有现金都要第一天放进账户。机器分两批到货，采购合同还可以围绕订金、发货或交付、验收来谈付款节点。Colfax公开条款接受现金或获准信用，也允许另行接受的采购条款；NADDOD的Net 15、30、45天账期需要信用审批。短账期和多年融资，分别解决不同长度的资金占用。

因此，融资计划也要拆成两件事：先落实覆盖不可撤销订单的资金承诺，再按付款到期日安排钱进入账户。供应商愿意接受验收尾款，就把该部分资金放到验收节点；要求预付款，就相应提前。分批安装和分期付款分别谈，月度资金计划跟着合同责任走。

我先把能确定节奏的工资和电费画出来，看看账户会怎样出钱。第4月起另外加入222.75万美元规划月租；采购、其他服务与数据支出按合同月份叠加。因此读图时，可以先看到已经算清的运营节奏，再把收到的报价放到对应位置。

表中采用每kW每月165美元的规划租价；13,500kW乘以这个单价，月租为2,227,500美元，电费另列。

现金表有了出账日期，新增到账也能逐月计算。我用到期合同款 + 当月全部运营 + 未来两个月运营缓冲 − 银行可用现金计算每月新增到账需求，有缺口就按协议调用资金。第12月的奖金提前进入缓冲。完整风险额度与这份运营缓冲统一核算，避免同一笔余量重复筹资。

分阶段到账需要投资协议支持：承诺金额、通知期、出资条件和到期责任一起约定。这样资金可以随合同节奏进入银行，采购决定仍有已落实的资金来源。

现金流：记录钱什么时候进入和离开银行账户。

资金承诺：投资人按协议出资的义务。

到账：资金已经进入账户、可以使用。

付款账期：从合同约定起算日到应付款日的时间。Net 15、30、45分别表示15、30、45天内付款。

预算终于有了形状，也有了日历

再回到开头那660台服务器，清单已经长成一套系统：640台主训练服务器、20台备用机，同园区三厅13.5MW，配二十人的初始工程团队与外部现场服务。服务器、交换机、首年工资、电费和2,004.75万美元租金估算形成约3.5057亿美元的当前规划小计；完整首年预算再加光学清单O，以及存储和其他服务X。风险额度按完整预算的10%安排，设备贷款仍计零。

下一步有了明确的文件：设备与接线清单发给供应商，三厅容量、光路与日期交给机房，报价和付款条款逐笔回填总账。日历仍以第4、6月分批到货、第7月验收、第8至10月完成76天主训练为目标，让每份回复都能找到自己的位置。

采购计划终于回答了机器怎样准备、资金怎样跟上。可这些机器最终要运行的500B模型，里面到底长什么样？下一篇，先把服务器外壳放到一边，走进模型本身。