[从零训练一个200B大语言模型] 3/25：完整预算要准备多少钱？

256台服务器，采购单已经超过一亿美元。接下来真正影响这家公司的是：这些机器什么时候有地方放，什么人能把它们跑起来，以及每张账单到期以前，钱能不能到。

前两篇给出的任务是：用2,048张B200训练一个200B稠密模型，累计处理4T token。按上一篇选择的训练速度，主训练约30.1天，排31天。这一篇把服务器、网络、场地、团队和资金放到同一份计划里。公开价格和供应状态截至2026年10月18日。

我们从设备清单开始：选定型号，算清数量，再把机器送进能够承接它们的机房。服务器与交换机已有公开价格；机房下一步要取得4.5MW容量、交付日期和书面报价。把设备与场地对齐，大订单就有了启动依据。

先决定什么时候值得买

如果只做一轮训练，先问云厂商要一份连续31天的整集群报价。Lambda的B200集群公开价格在256张及以上档位为每GPU每小时8.87美元。直接乘以2,048张和744小时，约1,352万美元。询价时把2,048张同时可用、连续运行31天、配套网络和交付日期一起写进要求。

这家公司选择自购，是因为准备持续做多轮研发。基准采购采用Exxact的八卡B200 AMD配置，393,167.50美元一台。256台主机加8台备用机，共264台，设备款103,796,220美元。另一个Intel配置为423,857.50美元，264台是111,898,380美元。两者的CPU、主内存等配置不同，要用相同验收任务比较。中央预算采用前者，让计算始终对应一款具体配置。

八台备用机是本项目选择的3.125%维修余量。主训练用2,048张卡，另64张随备用机替换故障位置，GPU已包含在整机价格中。下单时，把264台的配置、数量、交付日期、保修和验收写入供应商确认的采购清单。

集群：协同工作的多台服务器。

每GPU每小时：租用一张GPU一小时的计价单位。整集群报价还要列出网络和服务范围。

询价单（RFQ）：发给供应商、请对方报价的需求清单。

交换机选哪一种，线怎么接？

网卡（NIC）：给服务器提供网络连接的部件。

交换机：连接多台设备，让它们交换数据的设备。

端口：设备上的一个网络连接位置。

InfiniBand：本文选用的高速网络体系，用于训练机器之间交换数据。

400G：每秒4000亿比特的标称传输能力。

带宽：单位时间能够传输的数据量。

拓扑图：画出设备之间谁连着谁的连接图。

先把训练网络的工作说清楚：它要让2,048个GPU出口持续交换计算结果。这次选择400G InfiniBand作为采购参考。服务器里面的八张GPU有自己的高速互联；跨服务器时，每张GPU对应一个400G网卡出口。Exxact的整机验收要覆盖八张指定网卡的插槽、连接方式和逐卡带宽。

交换机具体选NVIDIA Quantum-2的MQM9700-NS2F。Colfax的公开目录价是34,555美元。它提供64个400G逻辑端口，通过32个双端口OSFP插槽引出。选择它，是因为64个端口刚好支持下面的连接方式，而且网卡、光模块和交换机可以沿同一套400G InfiniBand规格核对。

把256台主机分成8组，每组32台。每组的32台主机，各把第一个出口接到一台leaf交换机，第二个出口接到另一台，一直到第八个。leaf是紧靠服务器的一层。每台leaf再向上连接32台共享spine；spine把不同服务器组接起来。看图时，沿着金色线路走，就能看到一个结果怎样从一组机器到另一组。

每台leaf有32个端口向下、32个端口向上，两边都是12.8Tb/s。8组各8台leaf，共64台；每台spine连接这64台leaf，正好用完64个端口。于是交换机总数是64加32，等于96台；服务器到leaf有2,048条链路，leaf到spine也有2,048条，共4,096条400G链路。接下来按这套拓扑验收布线、故障恢复和训练性能。

这套训练网络按公开价合计16,841,184美元。光模块与光纤就占10,146,816美元，值得逐项算清。3,072个交换机侧双口模块提供6,144个400G端口；2,048个用于服务器侧，另外4,096个用于上下层互联的两端。再加2,048个服务器侧单口模块，才把4,096条链路的两端配齐。备用机替换故障位置时复用那里的光模块和线，额外光模块备件随供应商方案一起询价。

服务范围也会改写价格。NADDOD同型号交换机加三年服务的组合是48,592美元一台，96台比上述裸目录方案多1,347,552美元。比较时要把服务放到同一口径。2026年10月18日，网卡页面显示120张库存。采购需要2,112张，下一步让渠道给出全量供货的批次和日期。

落到现场，还有两项设计要完成。第一，30米光纤是具体的计价样例；最终路由更长，就要换长度，超过这套多模光学方案的距离还要换成匹配的单模方案。第二，96台交换机的数据端口已用满，网络管理软件、主机资源和高可用安排需另外设计。存储与管理网络先留100万至200万美元，共享存储留200万至400万美元；下一轮询价把这两项的型号、服务范围与价格补齐。

Leaf：紧靠服务器的下层交换机。

Spine：连接各组leaf的上层交换机。

Tb/s：每秒一万亿比特，是网络带宽的单位。

光模块：把设备的电信号转换为光信号，让光纤能够传送数据的部件。

OSFP：本文光模块使用的插槽与模块外形规格。

具体问哪几座机房？

机柜：放置服务器的柜架。

kW（千瓦）：衡量同一时刻用电功率的单位，1kW等于1,000瓦。

MW（兆瓦）：更大的功率单位，1MW等于1,000kW。

kWh（千瓦时）：衡量一段时间消耗电量的单位，也就是电费里的“度”。机房按合同对实际电量计费。

264台服务器按设备网页每台14.25kW的功率估值计算，约3.76MW。加上网络、存储和余量，先向机房提出4.5MW IT容量的需求。IT容量是供给设备的电力，制冷和其他设施耗电在外面。最终还要把服务器数量、每柜功率、气流、承重和布线距离一起交给运营商审核。

优先询价的是佐治亚州的Flexential Atlanta-Douglasville 2。它公布的单个机房厅就是4.5MW，机柜密度80kW以上，技术规格与本项目最接近。询价重点是取得整厅4.5MW的容量安排。2026年8月的融资公告仍把当地36MW项目列为建设中。接下来需要确认具体哪一期可以交付。

以上是选出的具体询价对象，项目目前处于方案准备阶段。询价文件要把4.5MW可交付容量、机柜方案、交付日、起租日、最低租期、押金、用电计费、现场服务和违约处理放到一起。这样收到回复时，才能比较哪一家能在需要的时间交付完整方案。

价格也可以缩小到相符的市场规模。CBRE 2026年上半年Atlanta报告的3至10MW档位给出每kW每月150至175美元的市场要价。我们用中点162.50美元做租金情景：4,500 × $162.50 × 9个月 = $6,581,250。Flexential的项目报价需要在这个市场基准上明确高密度机柜改造、特殊散热和额外服务的费用。若实际月租达到250美元，九个月就比中央情景多3,543,750美元。

这里按租金另加用电的合同结构测算。CBRE的市场报告也区分了这种结构与把更多费用转给租户的合同。若供应商报价包电，就合并这两行；若有最低用电、税费转嫁或押金，就按条款补进去。最终按这份完整的计费范围比较总价。

电力按每度0.10美元、全年平均每月730小时计算。完整集群的IT运行负载预算为3.3MW，采用机房目标PUE 1.4，完整运行月电费为 3,300 × 1.4 × 730 × $0.10 = $337,260。第4、5月只有第一批机器，按一半运行负载留电费；第6至12月按完整负载，首年合计269.81万美元。安装和训练的实际负载由电表记录，再更新后续预算。

PUE：机房总耗电除以IT设备耗电。PUE为1.4，表示设备每用1度电，机房连同制冷等设施共用1.4度。

预留容量：机房为项目保留的供电能力，这里是4.5MW。

运行负载：设备运行时实际需要的功率，预算在完整集群运行时采用3.3MW。

托管、自建和多地点，各适合什么工作？

自建要单独排时间。JLL的2026年展望给出的主要市场接电等待平均超过四年。报告约每MW 1,130万美元的建设成本，基于50MW风冷设施的主体与核心工程，不含土地和IT设备；我们的4.5MW自建方案要单独核算，加入拿地、设计、接电、施工、调试、融资、设施团队和多年剩余资产价值。

首年项目优先选择已经具备供电条件、能按书面日期交付的托管容量。先拿到场地日期，再安排采购、扩招和起租。场地延期时，把这些计划一起重排，继续推进小规模实验与数据准备；已经生效的订单和租约按合同处理。

多个数据中心适合分开承担数据处理、独立实验、合成数据生成和评估。同一次主训练需要频繁同步，拆到不同城市就要重新设计专用连接和并行方案，并实测吞吐。用新的实测吞吐重新计算前一篇31天的训练排期。当前采购参考仍把主训练放在同一园区；同园区跨楼也要验证距离与专线，让跨楼专线满足训练网络的带宽与延迟要求。

托管：把自己的服务器放进别人运营的机房，租用场地、电力与冷却条件。

延迟：一份数据从发出到到达需要的时间。它决定机器等待结果要多久。

二十个人逐个算，先招谁？

分布式训练：让多台机器协作完成一次训练。

评估：用测试任务检验模型的表现。

后训练：在基础模型上继续训练，让它更好地完成任务、遵循指令。

SRE：保障系统可靠运行的工程工作，包括监控、故障响应与恢复。

M1：项目第1个月。表中的M2、M3等按同样方法表示后续月份。

二十人是这家公司的初始工程编制：模型5人、数据4人、分布式训练3人、基础设施3人、评估与后训练4人，再加一位项目负责人。这个规模选择了复用现有训练软件，并把机房设施和现场安装交给外部伙伴。团队工作量增加、新算法变多或者外部服务不足时，人数要重新调整。

薪酬参照美国公开招聘区间逐岗安排。训练工程岗位的基本工资区间为20万至29万美元，GPU系统岗位为20万至30万美元，数据工程岗位为18.2万至24.2万美元。先用这些区间建立预算，再根据候选人的职责与经验确定offer；需要顶级实验室首席科学家时，单独安排该岗位的薪酬。 这套方案面向有大型训练或集群经验、愿意承担早期技术所有权的人：负责人奖金20%、工程师15%，是我们为职责和现金安排做的选择。候选人还会看研究空间、算力条件与团队，因此把股权和技术决策权一起放进招聘讨论。

月度计划的起点，是首批两位负责人已接受职责、第一笔资金已可用。第1月给项目和模型负责人发薪；其余四位工作线负责人以第2月到岗为目标，相关搜索要提前开始。第2月的大采购需要基础设施和分布式负责人审过配置，缺人就顺延决策。SHRM 2026招聘基准给出的非高管岗位填补时间中位数是39天，这个跨行业指标计到接受offer；排入职计划时还要加上报到和上手时间。

一份有竞争力的offer要把四部分一起谈：基本工资、绩效奖金、入职奖金和股权。六位负责人目标奖金为基本工资的20%，其余十四人为15%；项目在第12月结算，按当年实际在岗月数计。负责人入职奖金5万美元，其他岗位2.5万美元，在到岗月支付。基本工资之外继续预留25%的雇主税费与福利；奖金和入职奖金再预留8%的增量雇主支出。这样，福利只计算一次，新增现金也有位置。

人数依次是2、6、8、10、14、17，第7月起20人。首年基本工资357.03万美元，原有雇主税费与福利89.26万美元，绩效奖金60.86万美元，入职奖金65万美元，奖金相关雇主预留10.07万美元，合计582.21万美元，比只算基本工资与福利增加135.93万美元。例如，第7月加入、年基本工资24.5万美元的工程师，首年奖金为 245,000 × 15% × 6 ÷ 12 = $18,375。第12月团队现金支出因此升至115.71万美元。

股权池按融资后完全稀释口径留10%，上表首批授予合计4.35%，余下5.65%用于后续招聘与追加激励。四年归属，满一年归属25%，以后按月归属。股权通过未来收益参与吸引人才，当期现金支出为零，代价体现在股东持股比例的稀释。表中两位首批负责人也按员工岗位安排，创始人的持股另行确定。 Carta于2026年发布的薪酬报告显示，2024年1月至2026年2月，AI/ML工程师初始股权授予中位规模增长31%，工资中位数增长9.1%；这也是招聘方案要同时安排现金与股权的原因。

项目负责人批准采购和付款；技术负责人制定规格与验收。外部法务、采购和财税人员处理合同、交付责任、税务文件与工资服务，先留每年30万至60万美元等待正式服务报价。机房负责楼宇、电力和冷却，集成商负责约定的安装、布线与验收，设备商负责约定的保修。内部三位基础设施工程师负责配置、监控、故障定位和恢复；24小时现场换件与响应要写进外部服务合同，让现场团队承担轮班响应。

股权池：公司为员工激励预留的股份份额。

完全稀释口径：计算持股比例时，把已有股份和期权等可能转成股份的权益一起计入分母。

归属：员工按任职时间逐步取得约定权益。

稀释：新增股份后，原股东持有的公司百分比下降。

资金到位以后，多久能开始训练？

采购计划把264台服务器分两批进场，每批132台，其中128台投入训练、4台备用。第2月完成采购审查，第4月与第6月分别安排两批到货，第7月全规模验收，第8月开始31天主训练。这是交给供应商与机房协调的目标顺序。两批到货方便分阶段安装；付款节点则单独写入采购合同。第一批配置全部32台上层交换机和共享存储，第二批接入同一系统。

采购前，让供应商围绕这组月份给出交付方案，并与机房进场日期对齐。若场地更晚交付，就先移动设备、安装、起租和训练计划。设备与场地同月交付，可以减少仓储、保险和资金占用；需要提前到货时，把这些费用计入采购安排。 机房从第4月整厅起租，先为完整4.5MW容量留位置。第4、5月电力按半集群运行预算，第6月起按完整集群预算，实付跟着电表走。

数据这条线可以从具体材料开始。FineWeb提供公开样本与流式读取，当前资料卡列出超过18.5T英文token，使用它自己的GPT-2分词口径；FineWeb2则提供多语言材料，报告超过3万亿个词，选定分词器后再换算成训练token。它们是2024、2025年起公开的数据集，当前资料卡可查，适合立即做小样验证。项目仍要检查来源与使用条件，用自己的分词器重算，处理跨来源重复和评估污染。

第1至2月先测下载、清洗、分词的实际速度，抽检保留的数据，再用小模型验证配比。根据样本测得的处理速度，把大规模数据准备排入第3至6月，并据此追踪进度。第7月的数据验收要拿出来源清单、固定的分词器与配比、可用token库存、重复采样规则和持续供数测试。4T指累计训练量。把通过验收的独立token数量与重复采样次数一起列出来，就能核对这4T怎样组成。

真正的开始时间，取设备验收、机房验收、数据验收以及人员与训练方案就绪四者中最晚的一个。第7月用完整集群测持续供数、通信、故障恢复和训练速度，四条线汇合后开始主训练。交期变化时，先调整安装与训练，再按各份合同重排付款。已生效的订金、租金和服务付款继续计入现金表。

分词器：决定文字怎样切成token的工具，不同分法会得到不同数量。

去重：识别并删除训练材料中的重复内容。

评估污染：测试题或答案进入训练材料，导致测试成绩高估真实能力。

把设备和运营汇成一张账

设备之外，采购计划再给这些项目安排预算并逐项询价：前三个月小规模云实验50万至100万美元；全年数据许可与外部处理100万至300万美元；软件、网络管理授权、外部集群服务和运行保险100万至200万美元。服务器保修已随整机计价；交换机若选含三年服务的方案，就从服务预算中扣除对应金额。运输和在途保险50万至100万美元，安装验收100万至200万美元，硬件税费暂按8%占位。所在地、免税资格、进口与合同安排确定后，再替换税额。

硬件合计1.2514亿美元，加上税运和安装后，一次性采购需求1.3740亿美元。首年运营1980.14万美元，其中人员现金582.21万美元，已经包括绩效和入职奖金。我们先用权益资金覆盖这份采购与运营计划，设备贷款在取得具体授信以后再加入。

首年采购与运营合计1.5720亿美元，另留10%的风险额度1572.00万美元，总资金覆盖目标约1.7292亿美元。这个数字回答“完成这份计划要筹到多少资金”。现金实际进入银行的日期，要根据投资协议和设备、场地合同逐笔安排。

一次性采购：买下设备并完成安装所需的支出。

运营支出：持续发生的工资、租金、电力等费用。

权益资金：股东投入公司、换取公司权益的资金。

设备贷款：用于购置设备的债务，按合同还本金、利息和费用。

新公司能拿到设备贷款吗？

先看融资方靠什么收回钱。给别人提供算力的公司，可以拿客户合同和持续服务收入说明月供从哪里来。我们这家公司先花钱训练自己的模型，收入还在后面。贷款方要评估的，是股东投入、可用现金、未来收入的可信程度，以及设备处置后能收回多少。GPU有转售价值，仍然需要把公司的还款来源讲清楚。

Data Sales公开的设备租赁额度上限是5000万美元。它的Ori案例更能说明这类融资怎样发生：Ori已经开发平台五年，为履行客户合同采购GPU，首次租赁规模为数千万美元，随后随着业务增长扩大合作。这个案例的关键是客户需求和业务基础。对一家尚未形成相同收入与客户合同的新公司，下一步是提交财务与商业计划，取得针对本公司的授信结果；官网上限只能用来筛选询价对象。

初创公司有可以询价的渠道。NFS Capital的官方说明明确接受初创和未产生营收公司的申请，逐案审批；资产贷款按信用情况可能增加现金账户、有价证券等信用支持，或涉及认股权证等安排。Exxact的销售FAQ也提供金融伙伴的租赁与定制融资渠道，条件随地区和信用记录变化。把批准金额、首付、资金价格、担保和提款条件一起拿到，才有完整的方案。截至2026年10月18日，本项目尚未取得客户专属报价或授信，主资金表计设备贷款为零。

拿到报价以后，先核对担保责任、资金释放条件、提前还款和期末买断，再把每期本金、利息与费用放入现金表。利率使用实际报价，并连同费用计算总资金成本。这样才知道分期到底节省了多少首年现金，又把多少付款留到了以后。

授信：融资方审查后愿意提供的额度与条件。

提款：实际取用获准借款的动作。

本金：实际借到的钱。

利率：计算利息的比例，融资费用还要另算。

担保：由担保人按约定承担还款保障责任。

抵押：以特定资产为偿债提供保障的安排。

认股权证：让持有人在约定条件下购买公司股份的权利。

付款可以分开，先把合同谈清楚

设备分两批到货，采购合同可以围绕订金、发货或交付、验收设计付款节点。供应商会给每个节点的金额与日期，资金计划跟着这些义务走。Colfax公开条款接受现金或获准信用，另行接受的采购条款可改变付款安排；NADDOD的Net 15、30、45天账期也经过信用审批。这些短账期与三年设备融资，解决的是不同长度的资金占用。

我们向供应商提出两批交付和分节点付款，并在下不可取消的订单以前，落实足以覆盖付款责任的资金承诺。供应商若要求提前付，到账时间就向前排；愿意保留验收尾款，尾款就按验收条款安排。1.3740亿美元采购及安装需求先完整列出，具体月份由这轮合同报价分配。这样能保留谈判空间，也能清楚看到签单后必须承担多少责任。

先把能够按项目节奏展开的运营支出画出来。招聘、云实验、数据服务逐步启动，目标第4月起租，第6月达到完整集群运行负载，第12月发绩效奖金。下面的图将采购资金需求与月度运营分开：上半部分等待合同分配，下半部分沿现有排期计算。

月度到账公式仍然很简单：到期合同款 + 当月运营 + 未来两个月运营缓冲 − 银行可用现金，有缺口就按约定调用资金。设备付款的月份与金额来自合同，运营部分来自上表。第12月的奖金会提前进入现金缓冲；缓冲包含在1572.00万美元风险额度内，避免重复筹资。

分阶段到位需要投资协议支持。签约时把承诺金额、到账通知期、后续出资条件和到期责任逐项对齐。若后续出资还要经过新的投资决定，就先按已经落实的资金安排采购规模。能分开的是合同允许分开的付款；每笔不可撤销的采购责任，都要有能覆盖它的资金来源。

现金流：记录钱什么时候进入和离开银行账户。

资金承诺：投资人按协议出资的义务。

到账：资金已经进入账户、可以使用。

付款账期：从合同约定起算日到应付款日的时间。Net 15、Net 30、Net 45分别表示15、30、45天内付款。

现在可以做的决定

保留264台B200服务器和20人的工程团队，首年采购与运营预算约1.5720亿美元，含风险额度的总资金覆盖目标约1.7292亿美元。主方案由权益资金覆盖，设备贷款计零，期末设备债务也为零。首年人员现金582.21万美元，包含基本工资、绩效奖金、入职奖金和雇主支出；股权另按招聘方案授予。

接下来取得两批设备的交付与付款报价，以及4.5MW机房的交付与起租条件，再把1.3740亿美元采购需求逐笔放进月份。第4、6月到货、第7月验收、第8月训练是协调各方的目标排期。设备贷款作为额外询价选项，拿到本公司的授信与完整条款以后，才用真实的首付、利率和还款表替换资金计划。