[从零训练一个500B大语言模型] 7/25：训练材料从哪里来？

上一回，模型读到“窗外下着雨，我拿起了伞”，有了正确答案，也有了调整参数的方向。那一小步终于走通了。可把训练计划翻到数据那页，等待它的还有10万亿token。

我需要给这个500B模型找足够多的中英文和代码材料。第一眼看去，公开数据集的数字很壮观，几十万亿token并不少见。真要把它们放进同一个训练库，问题才开始出现：哪些能用，哪些重复，清洗以后还剩多少？

第二篇里的10T记录的是模型累计要读多少。硬盘里要备多少，得另列一张账。我先把账分成两栏：去重后真正留下的材料，以及训练时分给它们的读取量。来源、质量和重复次数，都要在这两栏之间说清楚。

这轮继续从零训练500B。现有模型也会进入计划，但先让它们做辅助工作：帮助筛选材料、编写教材。直接继承现有权重是另一种产品路线，后面的展开部分会把这笔账单独比较。

数据先按用途找，再合并成库存

面对长长的数据集名单，我先写下模型要学会什么，再按能力找材料。中文和英文需要各自的正文来源；代码需要程序、教程与解题讲解。后续评估显示哪一类能力不足，再补相应材料。预训练用的正文库、后训练用的示范题、强化学习用的环境，各自有不同用途。

第一轮名单里有FineWeb、FineWeb2、The Stack v2、FineMath和arXiv。按2026年10月19日核对的资料卡，再把能够补上不同缺口的来源加进来。表中前五项用于准备预训练材料，后两项解题示范留作后训练参考；各阶段的库存分别记账。

需要CUDA专项能力时，再加入2026年发布的Nemotron-SFT-CUDA-v1。它保留通过程序测试与相应检查的解答，适合明确的代码优化目标。

展开看：这些数据集的体量、访问方式与重复关系

原有来源里，FineWeb公开规模超过18.5T发布者token；FineWeb2中文子集列出约5,435亿词，需重新分词。The Stack v2完整训练版本约900B发布者token，Hugging Face主要提供标识，正文通过Software Heritage取回。FineMath-3+约34B，配套InfiMM-WebMath-3+约20.5B，两者有重叠，精选4+又是各自的子集。FineWeb、FineWeb2、The Stack v2、FineMath和arXiv获取说明分别给出入口。

IndustryCorpus2列出中文约1TB、英文约2.2TB，字节量要转成项目token。Nemotron-CC-v2.1新增约2.5T发布者token；Code-v2的原始代码部分约340B；Math-v1的3plus约133B，4plus约52B包含在其中。FineWeb-Edu约1.3T，已经属于FineWeb。这些公开规模都要经过我们的来源检查、跨库去重和统一分词，才能进入项目库存。

OpenThoughts3的120万记录来自约7.5万题、每题多条轨迹。OpenR1-Math同样为一题提供多个回答。记录数、独立题目数和token数分开保存，才能知道覆盖面究竟有多大。教师版本也随记录保存，旧教师数据可以做可复现基准，新教师的增量价值再由学生实验判断。

NVIDIA上述预训练数据集采用其训练数据访问协议；IndustryCorpus2也有访问条件。数据卡的许可与原始来源要求一起检查，完成访问后按文档规定取回内容。选择这些来源，并不意味着把它们全部下载后混成一库。

目录上的规模还进不了库存账。我先取小样：检查来源与使用条件，提取正文，用项目分词器重数，再看清洗速度和保留比例。样本过关，下载才扩大。这样，一份“很大的数据集”才逐渐变成一批实际可用的材料。

小样放到一起，又发现同一份网页、代码或题目会从几个入口进来。库存因此还要经过跨来源去重。学科材料先归学科，代码先归代码，剩下的进入一般语言；语言、长度、来源日期分别做标签。一篇中文数学讲义可以带三个标签，库存只记一次。

Token：模型处理文字的小片段。不同分词器得到的数量不同，所有项目库存统一按学生的分词器计数。

去重：识别同一份或高度相似的材料，避免通过不同入口重复收入库存。

合格库存：经过来源、质量和去重验收后，可用于该训练阶段的材料总量。

预训练：用大量正文学习语言、知识与代码中的规律，建立模型的基础能力。

后训练：在基础模型上继续训练，让它更好地按要求回答问题或完成任务。

从零路线的10T，怎样算出来？

材料有了去处，我回头检查它们能否撑起这轮训练。第二篇为500B稠密模型选择了10T首轮预训练预算。它沿用训练token约为参数量20倍的经验起点，给算力与现金计划一个统一的工作量。

500B × 20 = 10,000B token = 10T token

10T是这次学习要走的总路程。至于准备多少独立材料，就要把质量、覆盖面和重读的价值放到一起决定。

我把数据团队的交付目标先定为约5T合格独立库存，再为它安排10T累计读取量。每批先完成取回、许可、质量和跨来源去重验收，用固定分词器计数后，才能填进下面这张配方：

6,160 + 790 + 1,400 + 500 + 990 + 150 + 10 = 10,000B = 10T

一般英文原生材料占累计训练的61.6%，公开合成改写占7.9%，一般中文占14%，代码相关材料合计15%，数学与科学占1.5%。这些初始份额同时考虑双语与代码目标，以及各类独立材料的准备量。比如中文500B分配1,400B，就是平均2.8遍；这个数把库存与目标练习量接起来，是否值得这样读，要由下一节的等预算实验选择。

代码占15%，换成工作量就是1.5T。这个数还得拆开，否则“找代码”很容易只找回一堆源文件。我把它分成500B代码网页、990B源代码和10B教师讲解。对应独立库存目标是250B、490B和10B。教师讲解仍只安排原来的10B试产，放在10T总量内占0.1%。

按2026年10月27日核对的公开资料，为了准备这批代码材料，数据团队可以先接入Nemotron-CC-Code-v1的代码相关网页，再通过Nemotron-Pretraining-Code-v2的元数据取得源文件，用UltraData-Code的L2源码作补充。前者包含技术说明和教程，源码元数据则还需要完成文件取回。合成教材单列来源。

不同候选库可能包含同一份仓库代码，代码网页也可能已收入英文材料。它们在跨来源去重以后只归入一个库存池，其他语言和主题作为标签保留。发布者列出的总量帮助选择候选池，490B源代码目标则要在取回、筛选和统一分词后验收。库存不足时，先补合适来源，再用实验决定配额调整。

加到最后，两栏分别是约5T和10T，整体平均两遍。可表里中文是2.8遍，合成改写约1.32遍，这些差别值得继续追问。它们先作为小模型对照实验的起点，接下来要检查：把同样的计算花在重读上，究竟值不值？训练提前达标就保存最佳检查点，10T留作这轮工作量上限。

继续预训练：继承已有参数，继续阅读材料、预测下一token，补充领域知识或能力。

监督微调（SFT）：用输入与示范回答继续训练，让已有模型更好地按要求完成任务。

强化学习（RL）：根据模型自己的尝试及结果反馈更新参数。代码任务可以用程序测试提供反馈。

下一批算力，花在新材料还是重读？

我先给这张配方定下一个顺序：质量达标、覆盖目标能力的新材料优先。某一类找不够，或精选材料值得多学，才增加重读。每用掉一段固定工作量，就比较下一段算力该花在哪里。“新”指的是模型在本次训练中还没读过。

2026年10月4日公开的《What Is a Repeated Token Worth?》比较了这两种投入。在其14M至2B模型实验里，同等质量、固定计算预算下，新材料整体更划算；材料有限时，第二遍仍能带来较高收益，继续重复的边际收益下降。同日的《Selecting Repetition Counts Across Model Scales》说明最佳次数会随模型规模改变。这两篇预印本给我们的顺序提供依据，500B的实际配额继续由项目验证。

最新生产报告也展示了这种分配方式。NVIDIA 2026年10月的500B中间训练方案中，同一阶段里的来源读取次数就不同：

这张实际方案让我更清楚地看到，遍数跟着任务走。同一个模型可以少读一类、多读另一类。我也先分配各类要完成的训练量，再用库存去除，得到对应遍数。

比较要做得可靠，先得给模型留一场公平的考试。我把材料分开：训练库用于学习；验证集用于选择配方、检查点和停止时机；最终测试集封存，到方案确定后再做一次独立验收。

开始比较之前，先给试验设定GPU小时上限，再按实际吞吐换成可处理token；在这个范围内筛选，再在目标模型的训练检查点验证。重复实验或抽样误差估计，用来判断看见的提升是否可靠。每次分支都从相同检查点出发，新增token与训练设置匹配，才知道区别来自材料。

如果继续预训练的目标是让后训练后的模型更会做事，验收还要多走一步。上述NVIDIA 2026年10月报告发现，基础模型的一些代理指标与最终表现未必一致，因此用同一套短监督微调比较中间训练检查点。我们也固定这一步，再比较最终关心的任务，避免只把正文预测误差降下来。

这样再回到表里的2.8遍，就有了调整它的办法。每次分配过训练量，都重新算：

某类有效读取遍数 = 实际分配给这类的训练token ÷ 该类合格库存token

同样是500B中文库存，分配1,400B平均就是2.8遍；分配1,000B就是两遍；提前达标时也可以少于一遍。预算表里的2.8遍是初始采样计划，数据团队先完成新材料与精选旧材料的等成本比较，再释放重复读取的份额。英文、代码和教师样本各自计算。

监督微调则按题目与回答样本计算。先检查一段训练带来的解题收益，再决定是否继续读同一批示范。它的样本数量、回答损失和目标都不同于广泛预训练，遍数单独安排。强化学习还会生成新的尝试，用过多少题、生成多少答案、更新多少次也分别记录。

检查点：训练途中保存的一份模型参数，可以用于评估、恢复和比较后续方案。

验证集：用于调整训练方案的独立材料，始终不进入训练。

最终测试集：方案确定后用于验收的材料，在调参过程中保持封存。

有效读取遍数：某类累计训练量除以其合格库存。混合采样时可以是小数。

CoT为什么值得收集？

库存表里还有一行很小，却需要单独解决：10B教师讲解，占10T的0.1%。现成材料里常能找到答案，答案如何得来却未必写清楚。我想给学生补上这些过程，于是让现有模型先来写候选教材。它们在这里叫教师，学生仍是从零训练的500B模型。

先拿一道能检查的题试试：“把整数列表从小到大排序，保留重复值。”输入[3, 1, 3]，结果应该是[1, 3, 3]。教师可以只交出答案，也可以写出关键选择。

题目：把整数列表从小到大排序，保留重复值。

关键步骤：两个3都要保留。set(xs)会合并重复值，因此直接用sorted(xs)排序原列表。

检查：结果[1, 3, 3]有序，原来的元素也都保留了。

答案：return sorted(xs)。

看到“两个3都要保留”这一句，教材比单独一个答案多了一层联系：题目要求影响了程序选择，选择以后还要检查结果。这些中间解题步骤叫Chain of Thought，简称CoT。换一道同样要求保留重复值的题，学生就有机会用上这条方法。

不过，讲解放在哪个阶段，学生学的事情也不同。我把使用方法分开写进计划：

ICLR 2026接收的《Front-Loading Reasoning》研究了8B模型在预训练中提前接触推理材料，观察到基础能力和后续微调的收益。NVIDIA 2026年9月的代码报告则直接用教师轨迹监督微调已有模型，再按实验结果增加强化学习。两者回答了不同阶段的问题。

这轮先生产10B代码讲解作为预训练教材，与只给答案的材料比较，再按收益决定是否扩大。使用现有权重的项目，可以先把CoT用于SFT；若评估显示基础能力还需要补充，再研究继续预训练中的推理文档。

取得的CoT是教师可见的解题文字。研究表明它未必完整反映模型内部的影响因素。数据团队把它当教学材料：检查过程是否成立、是否支持答案、是否能帮助学生解决新题。

讲解写得顺，不代表它讲得对。生产顺序因此从题目、参考解法和独立测试开始，随后才让教师生成候选。代码通过测试以后，逐段检查讲解。删去重复与无关内容，保留决定解法的条件、必要推导和检查；编辑后重新验证。题目、解法、来源仓库与评估题家族一起去重，避免用同一道题的改写填满训练集。

沿着刚才的排序题，我把空列表、负数、重复值和随机列表都放进测试。sorted(set(xs))在重复值测试里失败；即使代码正确，如果讲解声称“先去重”，这份示范也要重写。最终选择“只答案”“关键步骤加答案”还是长过程，用同一学生、相同训练token预算比较。

Chain of Thought（CoT）：模型写出的中间解题步骤，可以包含分析、推导、检查和纠错。

合成数据：由模型或程序生成的材料；这里使用经过验证的教师示范。

损失（loss）：衡量预测与训练目标相差多远的数值。哪些位置参与计算，由训练方案决定。

教师模型：为学生提供示范或其他学习信号的模型。

蒸馏：利用教师的输出或概率等信号训练学生。教师可以比学生更大，也可以采用不同结构。

这批讲解由谁来写？

小批教材的检查办法有了，接下来轮到选择教师。版本更新也要进入这张选择表。GLM-5.3的官方模型卡说明，它与5.2使用同一个基础模型，改进来自后训练。这正好说明继承权重的价值：基础能力可以保留，再集中改进解题与做事的方式。

首轮代码教学材料，我选GLM-5.3与DeepSeek-V4.1-Flash-1017，给同一批题目与测试。GLM-5.2已有NVIDIA代码蒸馏对照可以参考；5.3和1017的优劣，要看同一个学生学完以后怎样。较轻的GLM-5.3-Flash可以另作成本候选，其320B总参数、18B激活与本篇500B稠密学生采用不同结构和规模。

版本升级时重新检查许可。GLM-5.3采用自己的模型许可，不能沿用5.2的MIT标签；1017权重许可为MIT。生产选择同时看许可适用性、合格讲解成本和学生新题成绩。教师生成资料的费用单列，学生只需学习最终选中的材料。

如果希望让Claude当教师，怎样落地？

把开放教师排进去以后，我也想比较Claude。API能提供示范，生产之前还要落实输出用于这次训练的许可，以及稳定的用量条件。

截至2026年10月19日，Anthropic商业条款D.4要求，使用其服务训练竞争模型须获得明确批准。我们计划训练通用500B学生，先向其商务渠道说明用途，并取得覆盖该用途的批准。现有API账户只代表能够调用服务。

合作申请因此要写清：学生的规模与商业发布方式，中文、代码等任务范围，预计请求与token量，打算保存的答案、代码、讲解或可见推理摘要，以及训练和再分发用途。官方商务入口用于提交需求；具体是否接受、价格和配额由对方回复。

取得批准后，按约定的模型版本与输出范围生成材料：

1. 数据团队准备题目、参考答案与独立测试。
2. 获准的API生成答案和可核验的解法说明；授权涵盖时，再保存接口提供的推理摘要。
3. 独立检查代码、答案与步骤，按题目家族去重，记录来源和许可版本。
4. 用同一个学生、相同预算，与开放教师材料进行SFT对照，再决定生产份额。

Claude的官方思考接口说明区分可返回的摘要与完整内部推理。学生可以学习获准取得的答案、讲解和摘要；质量依靠核验与训练效果判断。合作条款未落实时，生产教师使用许可适合的自部署权重。

展开看：Anthropic怎样限制未经许可的蒸馏？

Anthropic在2026年10月12日公开的措施包括展示推理摘要、保护原始推理记录、用两阶段分类器检测抽取行为，以及对反复违规账户限制额度或封禁。它们减少可被收集的信息，并提高未经许可收集的成本。

获准合作走约定的输出与用量通道，数据团队按合同记录材料。未来如果我们提供模型服务，也需要决定哪些输出开放、哪些用途需要单独许可，以及怎样识别异常请求并处理申诉。

展开看：从零路线中的10B教师材料，怎样计数和算成本？

假如每份通过验收的教学文档，题目、保留的步骤、代码和训练格式合计平均2,000个学生token，10B就对应：

5,000,000份 × 2,000 token = 10,000,000,000 token = 10B

也就是500万份合格文档。2,000是用来安排生产量的平均长度目标，最终账本把每份文档的实际token数加起来。只变换数字或改写措辞的近似题目，会在去重时合并；我们需要的是任务与解法的覆盖面。

教师要生成的候选会更多，因为有些答案过不了检查。先生产一万条候选，记录保留下来的文档数和token量、全部生成与测试费用，以及学生的小规模对照结果。用这批实测数计算：

预计整批生产费用 = 10B ÷ 试产合格token数 × 试产全部费用

CoT也要入账。假设老师为一条候选生成了5,000个教师token，整理后交付的文档是2,000个学生token：生成费用按老师实际做的工作记，学生库存只记最终这2,000个。被删去的过程和被淘汰的候选都已经消耗了教师算力。

这里的费用包括被淘汰的候选、教师处理输入与生成输出、测试、核查和存储。扩大规模时再用实际吞吐与通过率更新。教师有自己的分词器，服务计费或推理吞吐按教师口径记；进入学生账本时，用学生分词器重新计数。

10B在10T容量预算以内；最终投产量由试验收益决定。完成全部10T工作量时，学生主要预训练计算沿用第二篇的基线；提前结束则按实际处理量结算。老师生产材料需要额外算力，验证需要额外工程投入，把它们单列进数据准备预算和时间线。76天是完成原10T预算工作量的学生主训练窗口，教师生成安排在对应材料交付之前。

基础模型完成后，我们还会用教师帮助准备指令问答，让模型学会按要求回答。这属于后训练，另记样本量、训练遍数和费用。那时即使复用一份材料，学生再次读它，也会产生新的训练工作量。

展开比较：什么时候继承现有模型，学生该怎么选？

先让现有模型参加考试

我们的目标是中英双语加代码。我的第一步会是选几个可用模型，用公司真正关心的任务测一遍：中文说明是否准确，英文资料能否读懂，程序能否通过测试，长文里的信息能否找到。目标要写成可验收的任务，同时记录速度、显存和部署费用。

已经达标的能力可以直接继承。知识更新问题还可以先试检索，把最新资料交到模型面前；确定需要写进模型参数的能力，再进入训练。这样才知道下一笔钱应该花在哪一条线上。

发现的差距	下一步	需要准备的材料
能力已经达到产品要求	部署与评估，新增训练可以为零	保留独立评估集，收集真实使用反馈
领域语言、知识或文档结构掌握不足	继续预训练，按增益逐步加量	新领域正文、代码、文档及维持通用能力的材料
知识基本具备，但不会按要求解题或使用工具	监督微调，学习合格示范	题目、工具交互、经过核验的步骤和答案
已会作答，但可验证任务的成功率仍不足	试验基于结果反馈的强化学习	新题、测试环境和可靠的结果反馈

这些阶段可以组合。继续预训练补充底子，后训练再把能力组织成可用的行为。已有权重减少了重复建设，也可能仍然需要相当规模的新增训练。

2026年10月15日的NVIDIA《Priming Base Models for Agentic Post-Training》给了一个具体例子：已有基础模型分别追加500B和280B token的中间训练，再进行后训练。这个量远少于重新做一遍完整预训练，也足以成为独立的大项目。我们的预算由自己的能力缺口和学习曲线决定。

那从零训练什么时候值得？例如，要试一种现有权重无法支持的新架构；要重新设计分词器；要掌握全部训练材料的来源；或者已有模型在关键任务上始终达不到目标，而团队有资源重新建立基础能力。从零给予这些设计自由，也要求我们重新支付广泛学习和训练稳定性的成本。最终效果仍要与现有模型比较。

本系列保留从零路线，是为了把这套工程从头讲完整。对于现在要做产品的公司，我会先做现有模型的基线评估，再决定需要补哪一段训练。

基线：新增训练开始前，模型在同一套任务上的能力与成本记录。

哪些现有模型适合做学生？

学生是我们最终部署的模型。教师负责提供示范。两者可以来自不同团队，也可以采用不同结构。选择学生时，先检查权重、训练阶段、许可与运行成本，再比较能力。

截至2026年10月19日，我会这样安排首轮学生评测：

学生候选	规模与阶段	适合先看什么	选择时要算进去什么
Qwen3.8-Flash-Next	125B主干，另51B ngram、4B MTP，语言组件合计约180B，视觉等组件另计；主干激活6B；已后训练	新版中英、代码与多模态能力，作为较小规模的现有权重基线	新混合架构的训练适配；Qwen Community 1.0对MaaS和AI工作助手等商业用途要求另取许可
Laguna-M.1-base	225B总参数、23B激活；仅预训练；Apache 2.0	代码方向的基础权重，结构与训练阶段明确	中文、通用能力，以及指令和工具行为需要单独评测与训练
DeepSeek-V4-Flash-Base	284B总参数、13B激活；基础版；MIT	中英与代码基础能力的另一个对照	规模与本项目500B稠密模型不同，总参数、激活参数及部署成本分别核算

对于中英加代码产品，先测新版Qwen是否已经达到任务要求，并确认产品用途对应的许可；Laguna作为代码基础版对照。需要原始通用基础权重时，再加入DeepSeek 284B。这样第一轮就能回答：继承现成行为是否足够，还是值得从基础版补训练。

ngram记忆模块：按连续token片段检索的记忆部分。模型卡把它与主干参数分开列出。

MTP：多token预测模块，帮助模型学习或提出后续多个token；其参数与主干分开记账。

MaaS：把模型能力作为在线服务提供给客户。模型许可可能为这种用途另设条件。

另外，GLM-5.3-Flash也可作为学生对照：320B总参数、18B激活，已完成后训练，权重采用MIT许可。它与500B目标的规模差异要同时进入部署预算。

最新版本应当进入评测。升级是否值得，还取决于我们能否继承需要的能力、训练框架是否支持，以及许可是否适合产品。一个已完成后训练的新版，可以作为继续学习的起点；如果实验需要原始基础权重，就要选择明确发布Base版本的模型。

现有模型多为MoE，总参数决定要存多少权重，每个token激活的参数则影响部分计算成本；网络通信、记忆模块和具体实现也会影响速度。前文500B稠密模型的卡数与训练时间，要按新起点重新计算。

基础模型（Base model）：完成广泛预训练、可继续训练的模型。模型名称里明确的Base通常用于区分后训练版本。

数据团队接下来交什么？

材料这页终于从一串数据集名字，变成了三份能交接的结果：按来源验收的独立库存、各类材料的累计读取配额，以及新材料与重读材料的对照结果。每类材料带着来源、版本、去重记录、训练用途和学生token数入库；教师材料再附生成与验证记录。

我把两栏的标题再检查了一遍：5T是需要生产并验收的独立库存目标，10T是累计工作量预算。先让材料进得了库存，再按能力缺口安排读取；新的材料和精选旧材料以相同成本比较，收益决定重复份额。达到目标或继续学习没有稳定收益，就保存验证集最好的检查点，停止加量。教师的生产成本也另列在旁边。

可是，下载目录里的一篇文章，距离“合格库存”还隔着什么？下一篇打开这些文件，看看清洗、去重和质量检查怎样把这一关守住。