[从零训练一个200B大语言模型] 1/25：我们该买哪种GPU？

假设一家公司准备投入一大笔钱，在美国训练自己的200B大模型。

这类项目的第一项决定，常被简化成“找出最快的GPU，然后买很多张”。真正打开货架，摆在面前的却是两种差别很大的商品：一张RTX 5090官方起价1,999美元，一台八卡B200服务器的公开价格接近40万美元。

有的朋友会问：为什么不买一屋子的5090？

这个问题值得认真算。如果解释只有一句“数据中心卡更专业”，几十倍的价差就没有说清楚。我们要把这笔钱究竟买来了什么，一项一项拆开。

GPU：适合并行完成大量计算的处理器，训练模型时用它做主要的数值计算。

参数：模型在训练中不断调整的数字。200B表示2,000亿个参数。

答案先说清楚：5090能训练，规模一大账就变了

RTX 5090当然能训练模型。官方起价1,999美元，每张有32GB显存、1.792TB/s带宽，功耗575W。拿一到八张卡学习训练框架、做原型、验证多卡代码、微调模型，都很合适。项目刚开始时，团队完全可以先用它把代码跑通。

显存：GPU保存模型和中间计算结果的内存，容量决定一张卡能放下多少东西。

显存带宽：GPU每秒能够从显存读写多少数据。

TB/s：每秒万亿字节，是这里衡量显存带宽的单位。

GB/s：每秒十亿字节，是较小的带宽单位。

问题出在200B这个数字上。

一张卡看起来很大，是因为我们平时运行的模型比200B小得多。把模型放大到2,000亿个参数以后，32GB突然从“很多”变成了一个很小的盒子。

200B就是2,000亿个参数。只保存一份训练常用的16位权重，已经大约需要400GB。什么都还没开始算，理论上就至少要13张32GB的5090。

13张听上去还不吓人，很容易让人觉得买两台机器大概就解决了。可是这只是把模型的权重存下来，还没有让它学习任何东西。

这13张卡只是把一份权重放进去。训练还要记住每个参数该怎样改，以及优化器过去积累的状态。只计算权重、梯度和优化器状态，常见估算已经约3.2TB，相当于100张5090的裸容量。这里还没有计算每一层的临时结果、通信占用和冗余。这不是采购卡数，只说明200B训练会从买几张卡变成建设一个集群。

权重：决定输入怎样影响计算结果的模型参数。

梯度：表示某个参数改变一点，会怎样影响训练误差的量，训练用它判断调整方向。

优化器状态：更新模型参数的程序为后续更新保存的记录，例如过去更新方向的累计信息。

到这里，价格问题已经变成：两种集群各自需要多少机器、多少网络和多少照看它们的人。

而且显存不会自动合并。两张32GB卡，仍然是两个各自独立的32GB空间。训练软件必须把模型切开，再让这些卡不停交换结果。卡越多，要交换的数据越多。

训练的每一步都是这样：每张卡先算自己那一部分，然后等别的卡把结果送过来。算得再快，只要大量时间花在等待上，整套集群就快不起来。

5090缺少数据中心训练系统里的机内高速连接，所以这些数据要经过服务器通道和网络。它像一辆很快的跑车。几张放在一起仍然很快；到了上百张，我们需要的是一列彼此紧密连接、能够统一调度的货运列车。

最后还有运行时间。训练可能连续跑几周甚至几个月。中间坏一张卡，团队要知道哪里坏了，保存进度，换掉机器，然后继续。

想象训练已经跑了两个星期，一张卡开始偶尔报错。真正昂贵的是团队花多久找到问题，以及整次训练要从多早以前重新开始。5090的显存颗粒本身有纠错能力，真正拉开差距的是整套服务：持续的故障数据、经过验证的服务器、备件和现场支持。NVIDIA对Founders Edition的保修也明确排除了数据中心和商业GPU集群。

所以5090省下来的卡价会转移到更多服务器、更大的网络、更难的供电散热、更多故障恢复工作，以及更长的训练时间上。

继续往里逛，专业卡提供了一条中间路线：比消费卡更像服务器，又不用直接跳到四十万美元一台。

那专业卡呢？RTX PRO 6000 Server Edition有96GB带纠错的显存、约1.6TB/s带宽和最高600W功耗，也有经过认证的二卡、四卡和八卡服务器。仅放下400GB权重，理论下限从13张降到5张。它很适合企业推理、微调、视觉计算、开发集群和中等规模训练。

但它仍然通过服务器的通用通道连接多张卡。它的显存带宽约1.6TB/s，B200最高约8TB/s，接近五倍差距；显存是96GB，B200是180GB。到了数百张卡，200B训练会一次又一次地付出通信和等待的成本。

如果团队主要做推理或微调，这个取舍可能很好。我们的任务是从零训练200B，机器会长时间反复交换大量数据，于是同一个缺口每天都会出现。

所以答案很简单。5090和RTX PRO 6000在技术上都能训练。这个200B项目会把它们用于开发和验证，把正式的大规模预训练交给数据中心系统。

NVIDIA之外，还有AMD。Radeon RX 9070 XT官方建议价599美元，有16GB显存、640GB/s带宽和304W功耗。Radeon AI PRO R9700官方建议价1,299美元，有32GB显存、640GB/s带宽、300W功耗和Linux纠错支持。它们很适合低成本开发，也能让团队尽早知道自己的代码离开NVIDIA软件后还剩多少性能。到了200B规模，容量、卡间通信和长期运行能力仍然是同样的问题。

这些卡的价值也很清楚：它们是很好的开发工具。开发工具和正式训练系统，解决的是两个阶段的问题。

预训练：用大量材料训练基础模型，建立通用能力。

微调：在已有模型上继续训练，让它适应特定任务或数据。

推理：使用训练好的模型处理输入、生成结果。

为什么大家总在谈八卡服务器

看到这里，下一个问题是：为什么总是八张卡？

八张来自工程平衡。厂商把一台机器能够供电、散热和连接好的卡数，做成了可以反复交付的标准产品。

同一台机器里的卡沟通得快。数据一旦离开机器，就要经过网卡和集群网络，通常会慢下来。所以八卡服务器成了常见的积木。

放得更多，单台机器的供电和散热会迅速变难；放得太少，又会浪费机箱、网卡和维护成本。八张卡是厂商多年做出来的工程平衡，后来才变成大家熟悉的采购单位。

在采购语言里，一台这样的训练服务器叫一个节点。很多节点连起来，就是训练集群。我们可以一台一台增加节点，也可以直接买厂商做好的72卡整柜系统。后者把计算、网络和液冷放在同一个柜子里，价格和机房要求也一起上升。

这也是为什么只比较单张GPU的价格会误导我们。真正工作的单位已经从一张卡变成一台服务器，最后又变成整个集群。

所以我们要选的从来不只是一块芯片。我们是在选择今后三年怎样增加机器、怎样处理故障，以及软件团队围绕哪一套平台工作。

节点：集群中的一台服务器，本文常用一台含八张GPU的服务器作为节点。

集群：通过网络连接、一起工作的多台服务器。

走进数据中心，选择不只剩下GPU

数据中心货架没有消费市场那么多型号。现在真正值得比较的，大概就是几条路线。

问题也应该换一种问法：在准备开训的时候，哪套系统真正能交付、能扩展，团队也能用起来？

H200是成熟选择。每张141GB显存，带宽4.8TB/s，功耗最高700W。软件和运维经验已经很多。它的价值是让项目更快开工。

如果公司几个月内就必须开始训练，成熟本身就是性能。少花一个月调软件、等机器或改机房，可能比单张卡快一点更重要。

B200把每张显存提高到180GB，带宽提高到最高8TB/s，八张卡在一台机器里还有专门的高速连接。公开八卡配置约39.32万至42.39万美元。它更贵，每张卡最高1000W，对机房要求也更高。换来的则是更少等待和更高训练速度。

B200适合放在当前比较的中间位置。它已经可以买到，公开价格也能查到，性能又足以代表今天的数据中心训练系统，可以先作为容量、时间和成本测算的基线。

AMD的MI355X有288GB显存、8TB/s带宽和最高1400W功耗，纸面上很有吸引力。它让我们得到另一条真正能竞争的路线，也要求团队用自己的代码验证AMD软件、卡间通信和集群稳定性。

这种验证需要持续运行。我们要看训练能否持续、增加机器以后速度掉多少，以及团队修一个问题需要多久。硬件价格便宜，软件迁移很慢，总成本仍然可能更高。

如果项目到2027年才开训，候选还会变化。B300和Rubin八卡系统继续增加显存与带宽；B300每张288GB，Rubin每张最高288GB、22TB/s。MI455X达到432GB和23.3TB/s，主要随72卡Helios整柜交付。它们很可能更快，完整价格、功耗和到货时间还要等正式报价。

等待下一代也有成本。模型如果晚一年上线，省下的硬件钱可能远小于失去的时间。所以“现在开训”与“2027年开训”会得到不同答案。

如果目标是训练模型，选择也不必限于显卡。

Google的TPU就是一条平行路线。2026年3月31日，Ironwood TPU7x已经正式商用，每片有192GiB内存。Google的文档明确支持大型模型从零预训练，也支持JAX和PyTorch。产品页上的TPU8t和TPU8i目前仍标为即将推出，所以当前评估应该以TPU7x为准。

选TPU时，交易方式也变了。公司通常租用Google Cloud里的算力，或者签长期容量合同，而不是买一张张芯片搬进机房。它可以省去自建部分硬件系统的工作，也带来新的判断：现有训练代码迁移需要多久，开训时能否拿到足够的集群配额，以及长期容量合同怎样计价。TPU7x应当和NVIDIA、AMD一起进入主要候选，成本则要按完成同一个训练任务来比较，不能把云租金和服务器买断价直接相减。

Cerebras又是另一种设计。它把大量计算做在一块很大的晶圆级芯片上，再由配套系统持续供应数据。它的预训练文档给出了完整训练路径，客户可以购买整套系统，也可以使用专用云训练。这和购买GPU服务器不同，也和调用公开推理接口不同。

这条路线有真实训练记录。Cerebras在2026年的回顾中写明，Jais 2经过端到端训练，并于2025年12月发布8B和70B版本。但2026年8月发布的CS-4，公开重点是推理速度和首批出货计划，不能直接当成200B预训练性能。要把Cerebras放进正式竞标，供应商需要用目标模型证明训练路径，并给出完整报价、交期和预计训练时间。

下面这张图把六条路线放在一起：消费级GPU、专业GPU、NVIDIA数据中心GPU、AMD数据中心GPU、Google TPU和Cerebras。比较的重点只有三件事：怎样获得、最强项是什么、主要限制在哪里。

再看真正训练前沿模型的公司，会发现它们没有给出一个标准答案。

有的公司用NVIDIA最新系统，有的同时部署AMD，有的自己做芯片。甚至同一家公司，也会让不同芯片负责不同工作。

就连下一代系统也一样。Cognition已经在Vera Rubin 72卡机架上运行生产任务，这证明机器已经进入生产环境。200B从零训练仍然需要单独验证。

所以行业没有一张万能卡。大家都在根据自己的模型、软件、供应关系和开训时间做选择。别人的名单可以帮我们缩小范围，最后仍然要用自己的任务跑一次。

因此，采购任务可以收敛成一件具体的事：把候选缩小到几种，然后让同一份训练代码决定。

TPU：Google为机器学习设计的专用处理器，本文比较的是通过Google Cloud获得的训练算力。

训练框架：组织模型计算和参数更新的软件工具，文中的PyTorch和JAX属于这一类。

晶圆级芯片：把大规模计算系统做在一整片硅晶圆上的芯片设计，Cerebras采用这条路线。

先选一把尺子

我们现在还不知道最终要买多少张卡。没有模型计算量和训练时间，这个数字算不出来。

现在给出一个卡数，看起来很具体，其实只是把尚未验证的假设藏了起来。更可靠的做法是先选一把尺子，再把数字逐项算出来。

B200已经出货，有公开服务器配置和价格，性能也代表今天可以真正部署的Blackwell系统。因此，这个项目先用B200建立一套可复查的容量、时间和预算参照。参照只是为了让比较有共同起点，不预设最后赢家。

正式下单以前，H200、B300、MI355X和TPU7x都要运行同一份缩小版模型。这个测试只能验证软件能否跑通、单机效率和初步稳定性，不能把结果直接放大成200B训练速度。随后还要用多台机器验证通信、故障恢复和增加机器后的速度，并用目标200B工作负载确认结果。Cerebras也需要供应商完成同样的验证。项目如果到2027年才开始，Rubin和MI455X也会进入主要候选。

自购服务器、云算力和整套专用系统的价格口径不同，最后都要换算成完成目标训练所需的时间、供电、工程投入和三年总成本。算完这些，哪条路线更合适，才由数据决定。