[从零训练一个500B大语言模型] 1/25：我们该买哪种GPU？

准备从零训练自己的500B大模型时，我先打开了GPU的产品页面。预算还没有定，采购单也是空的。要把这个项目做起来，得先弄清楚：什么样的机器，才能让5,000亿个参数真正学起来？

货架上的价差很快吸引了我的注意：一张RTX 5090官方起价1,999美元，一台八卡B200服务器的公开基础配置价格超过44万美元。

同样是GPU，一边按千美元卖，一边整机要几十万美元。那张便宜的5090，究竟差在哪里？买上一屋子，能不能把事情办成？

我把价格先留在一旁，从最容易检查的一件事开始：模型放得下吗？

GPU：适合并行完成大量计算的处理器，训练模型时用它做主要的数值计算。

参数：模型在训练中不断调整的数字。500B表示5,000亿个参数。

便宜的卡，先遇到了装不下的问题

RTX 5090也能训练模型：官方起价1,999美元，每张有32GB显存、1.792TB/s带宽，功耗575W。拿一到八张学习训练框架、做原型、验证多卡代码或微调模型，都有用处。这样看，先买几张把代码跑起来，很有吸引力。

显存：GPU保存模型和中间计算结果的内存，容量决定一张卡能放下多少东西。

显存带宽：GPU每秒能够从显存读写多少数据。

TB/s：每秒万亿字节，是这里衡量显存带宽的单位。

GB/s：每秒十亿字节，是较小的带宽单位。

可纸上写着的目标是500B。把这个数字代进去，情况变了。

32GB平时能放下不少东西，这一次却要容纳5,000亿个参数。光是保存这些数字，就得先算一遍容量。

500B就是5,000亿个参数。每个16位权重占2字节，5,000亿乘以2，就是1万亿字节，约1,000GB，也就是1TB。只保存这一份权重，理论上就至少要32张32GB的5090。

32张，大约四台八卡机器。采购单似乎还不长。沿着训练过程继续往下看，才发现刚才只装进了模型本身，学习时要用的记录还留在外面。

每读完一批材料，训练程序都要调整参数。它需要记住每个参数该怎样改，还要保存优化器过去积累的状态。只计算权重、梯度和优化器状态，常见估算已经约8TB，相当于250张5090的裸容量。每一层的临时结果、通信占用和冗余还要继续往里加。250张只是容量换算，真正采购多少仍得往下算。不过，眼前的任务已经从买几张卡，变成了让一大群机器一起工作。

8TB来自每个参数约16字节的一种常见存法：计算用的权重2字节、梯度2字节、用于精细更新的权重副本4字节，再加两份各4字节的更新记录。合起来是2 + 2 + 4 + 4 + 4 = 16字节，于是500B × 16字节 = 8TB。选定训练软件后，还要按实际格式重算；第十五篇采用4字节梯度，同一笔账就变成每参数18字节。这里先看清量级：让模型学习，需要保存的内容比单独一份权重多得多。

字节（byte）：计量存储空间的单位，1字节等于8位。本文容量换算按十进制计算。

权重：决定输入怎样影响计算结果的模型参数。

梯度：表示某个参数改变一点，会怎样影响训练误差的量，训练用它判断调整方向。

优化器状态：更新模型参数的程序为后续更新保存的记录，例如过去更新方向的累计信息。

容量这一关，把另一笔账推到了眼前：多出来的卡放在哪里，彼此怎样交换结果，又由谁照看？

把卡装到一起，显存也没有自动变成一个大池子。两张32GB卡仍然各管自己的32GB。训练软件得把模型分给它们，再把各处的计算结果接起来。于是，我沿着数据移动的路线，继续看这些机器。

一张卡算完手里的部分，还要等别处送来的结果，才能继续。这个等待会在训练中反复出现。单卡规格再漂亮，几百张卡彼此等着，也会把训练拖慢。

5090缺少数据中心训练系统里的机内高速连接，所以这些数据要经过服务器通道和网络。它像一辆很快的跑车。几张放在一起仍然很快；到了上百张，我们需要的是一列彼此紧密连接、能够统一调度的货运列车。

顺着等待的问题，我又翻到了保修和维护条款。训练要连续跑几周甚至几个月，任何一张卡出现问题，都得有人定位故障、保存进度、换机，再把任务接回去。

偶尔出现一次错误，往往比彻底坏掉更难找。排查花多久、训练退回多早的进度，都会进入成本。5090的显存颗粒本身有纠错能力，真正拉开差距的是整套服务：持续的故障数据、经过验证的服务器、备件和现场支持。NVIDIA对Founders Edition的保修也明确排除了数据中心和商业GPU集群。

采购表上便宜的那一栏，开始在别处长出费用：更多服务器、更大的网络、供电散热、故障恢复，还有等待结果的时间。

我没有立刻跳到最贵的机器，而是翻到专业卡那一页。显存多一些、服务器支持完整一些，会不会刚好够用？

RTX PRO 6000 Server Edition有96GB带纠错的显存、约1.6TB/s带宽和最高600W功耗，也有经过认证的二卡、四卡和八卡服务器。仅放下1,000GB权重，理论下限从32张降到11张。它很适合企业推理、微调、视觉计算、开发集群和中等规模训练。

但它仍然通过服务器的通用通道连接多张卡。它的显存带宽约1.6TB/s，B200最高约8TB/s，接近五倍差距；显存是96GB，B200是180GB。到了数百张卡，500B训练会一次又一次地付出通信和等待的成本。

推理和微调也许能接受这样的取舍。纸上那个500B从零训练任务，却会让大量数据长时间、反复地经过这些通道。今天省下的连接能力，明天还会继续变成等待。

到这里，5090和RTX PRO 6000在计划里有了位置：开发和验证可以用，正式的大规模预训练则继续寻找数据中心系统。

把消费卡和专业卡放回开发清单之前，我也看了AMD的货架。Radeon RX 9070 XT官方建议价599美元，有16GB显存、640GB/s带宽和304W功耗。Radeon AI PRO R9700官方建议价1,299美元，有32GB显存、640GB/s带宽、300W功耗和Linux纠错支持。它们很适合低成本开发，也能让团队尽早知道自己的代码离开NVIDIA软件后还剩多少性能。到了500B规模，容量、卡间通信和长期运行能力仍然是同样的问题。

这一圈看下来，便宜的卡仍值得买，只是采购目的变清楚了：先让小规模开发顺利开展，再为正式训练寻找能长期协作的整套机器。

预训练：用大量材料训练基础模型，建立通用能力。

微调：在已有模型上继续训练，让它适应特定任务或数据。

推理：使用训练好的模型处理输入、生成结果。

换到整机货架，为什么总看到八张卡

开始比较数据中心系统后，产品页里反复出现“八卡服务器”。刚才还在逐张算卡，怎么采购单位忽然变成了八张一组？

翻看整机结构，答案逐渐清楚：一台机器要同时解决供电、散热和连接。八张是厂商把这些事情一起处理后，做出的常见标准产品。

同一台机器里的卡沟通得快。数据一旦离开机器，就要经过网卡和集群网络，通常会慢下来。所以八卡服务器成了常见的积木。

放得更多，单台机器的供电和散热会迅速变难；放得太少，又会浪费机箱、网卡和维护成本。八张卡是厂商多年做出来的工程平衡，后来才变成大家熟悉的采购单位。

在采购语言里，一台这样的训练服务器叫一个节点。很多节点连起来，就是训练集群。我们可以一台一台增加节点，也可以直接买厂商做好的72卡整柜系统。后者把计算、网络和液冷放在同一个柜子里，价格和机房要求也一起上升。

采购表也随之换了写法。一张GPU的价格旁边，现在要放整机价格、机间网络和扩容方式。真正工作的单位，已经从卡变成了整套集群。

这个决定会跟着项目很久：今后三年怎样加机器、怎样修故障、训练代码围绕哪套平台打磨，都从这里开始。

节点：集群中的一台服务器，本文常用一台含八张GPU的服务器作为节点。

集群：通过网络连接、一起工作的多台服务器。

走进数据中心，选择不只剩下GPU

带着整机和运行成本重新看产品，候选少了，问题也具体了：开训那天，哪套系统能够交付，代码跑得起来，往后还能继续扩展？

H200是成熟选择。每张141GB显存，带宽4.8TB/s，功耗最高700W。软件和运维经验已经很多。它的价值是让项目更快开工。

如果公司几个月内就必须开始训练，成熟本身就是性能。少花一个月调软件、等机器或改机房，可能比单张卡快一点更重要。

B200把每张显存提高到180GB，带宽提高到最高8TB/s，八张卡在一台机器里还有专门的高速连接。2026年10月27日，Exxact八卡AMD配置基础价为443,278美元，选入八张训练网卡后为457,798美元。它更贵，每张卡最高1000W，对机房要求也更高。换来的则是更少等待和更高训练速度。

这份公开配置让我有了可以往下计算的起点。我在B200旁边做了一个记号：用它先把容量、时间和成本算完整，再让其他路线与同一份任务比较。全量交付日期仍要在询价时确认。

AMD的MI355X有288GB显存、8TB/s带宽和最高1400W功耗，纸面上很有吸引力。它让我们得到另一条真正能竞争的路线，也要求团队用自己的代码验证AMD软件、卡间通信和集群稳定性。

显存更大让我愿意继续看，软件迁移却也要占用时间。测试清单因此多了三项：能否持续训练、加机器后速度掉多少、出现问题多久能修好。便宜的设备要真正省钱，这几项也得过关。

如果项目到2027年才开训，候选还会变化。B300和Rubin八卡系统继续增加显存与带宽；B300每张288GB，Rubin每张最高288GB、22TB/s。MI455X达到432GB和23.3TB/s，主要随72卡Helios整柜交付。它们很可能更快，完整价格、功耗和到货时间还要等正式报价。

越新的规格越诱人，训练日期却不会等人。我把开训时间也放进比较表：现在能用的系统和2027年的系统，必须连同等待的代价一起看。

看过下一代整柜以后，还有一个问题没有回答：一定要把GPU买回来，才能训练这个模型吗？

Google的TPU就是一条平行路线。2026年3月31日，Ironwood TPU7x已经正式商用，每片有192GiB内存。Google的文档明确支持大型模型从零预训练，也支持JAX和PyTorch。产品页上的TPU8t和TPU8i目前仍标为即将推出，所以当前评估应该以TPU7x为准。

选TPU时，交易方式也变了。公司通常租用Google Cloud里的算力，或者签长期容量合同，而不是买一张张芯片搬进机房。它可以省去自建部分硬件系统的工作，也带来新的判断：现有训练代码迁移需要多久，开训时能否拿到足够的集群配额，以及长期容量合同怎样计价。TPU7x应当和NVIDIA、AMD一起进入主要候选，成本则要按完成同一个训练任务来比较，不能把云租金和服务器买断价直接相减。

Cerebras又是另一种设计。它把大量计算做在一块很大的晶圆级芯片上，再由配套系统持续供应数据。它的预训练文档给出了完整训练路径，客户可以购买整套系统，也可以使用专用云训练。这和购买GPU服务器不同，也和调用公开推理接口不同。

这条路线有真实训练记录。Cerebras在2026年的回顾中写明，Jais 2经过端到端训练，并于2025年12月发布8B和70B版本。但2026年8月发布的CS-4，公开重点是推理速度和首批出货计划，不能直接当成500B预训练性能。要把Cerebras放进正式竞标，供应商需要用目标模型证明训练路径，并给出完整报价、交期和预计训练时间。

为免在型号之间来回打转，我把看到的六条路线放回同一张图：消费级GPU、专业GPU、NVIDIA数据中心GPU、AMD数据中心GPU、Google TPU和Cerebras。比较的重点只有三件事：怎样获得、最强项是什么、主要限制在哪里。

候选已经齐了，接下来要找实际训练记录。翻看前沿模型公司的公开资料，同一家厂商的名字并没有占满这张表。有的同时部署几条路线，有的让不同芯片承担不同工作。

就连下一代系统也一样。Cognition已经在Vera Rubin 72卡机架上运行生产任务，这证明机器已经进入生产环境。500B从零训练仍然需要单独验证。

这些记录给了候选路线更多依据，也让我把问题重新收回到自己的任务上。别人的系统跑得好，值得参考；这份500B训练计划最终选谁，要让相同的训练代码来比较。

TPU：Google为机器学习设计的专用处理器，本文比较的是通过Google Cloud获得的训练算力。

训练框架：组织模型计算和参数更新的软件工具，文中的PyTorch和JAX属于这一类。

晶圆级芯片：把大规模计算系统做在一整片硅晶圆上的芯片设计，Cerebras采用这条路线。

先选一把尺子

关掉产品页时，采购单还没有填上数量，但选卡的标准已经变了。要比较的是完成同一轮训练需要多少时间和投入。接下来缺的，正是这一轮训练究竟有多少工作。

B200已经出货，有公开服务器配置和价格，性能也代表今天可以真正部署的Blackwell系统。我决定先用B200把容量、时间和预算连起来。其他候选随后拿自己的结果来比较，最终采购再按测试与交付条件决定。

正式下单以前，H200、B300、MI355X和TPU7x都要运行同一份缩小版模型。这个测试只能验证软件能否跑通、单机效率和初步稳定性，不能把结果直接放大成500B训练速度。随后还要用多台机器验证通信、故障恢复和增加机器后的速度，并用目标500B工作负载确认结果。Cerebras也需要供应商完成同样的验证。项目如果到2027年才开始，Rubin和MI455X也会进入主要候选。

自购服务器、云算力和整套专用系统的价格口径不同，最后都要换算成完成目标训练所需的时间、供电、工程投入和三年总成本。这些账会随着测试和报价逐步齐全。眼下先解决最直接的问题：这一个500B模型，究竟需要多少张B200，才能在可接受的时间里训练完？