[从零训练一个200B大语言模型] 7/25：训练材料从哪里来？

上一篇，我们用“窗外下着雨，我拿起了伞”走完了一次训练。模型从材料里得到答案，再调整参数。到了准备整批材料这一步，先要回答一个更早的问题：这家公司真的需要从零训练吗？

开放模型已经读过大量材料。继承它的权重，也就继承了其中学到的能力。接下来该买多少数据，取决于它距离我们的目标还有多远。

这篇先决定学生从哪里出发，再安排它要学什么、读哪些材料、读多少。前文的4T继续作为从零训练200B稠密模型的案例预算；使用现有模型的方案，另算新增训练。

先让现有模型参加考试

我们的目标是中英双语加代码。我的第一步会是选几个可用模型，用公司真正关心的任务测一遍：中文说明是否准确，英文资料能否读懂，程序能否通过测试，长文里的信息能否找到。目标要写成可验收的任务，同时记录速度、显存和部署费用。

已经达标的能力可以直接继承。知识更新问题还可以先试检索，把最新资料交到模型面前；确定需要写进模型参数的能力，再进入训练。这样才知道下一笔钱应该花在哪一条线上。

这些阶段可以组合。继续预训练补充底子，后训练再把能力组织成可用的行为。已有权重减少了重复建设，也可能仍然需要相当规模的新增训练。

2026年10月15日的NVIDIA《Priming Base Models for Agentic Post-Training》给了一个具体例子：已有基础模型分别追加500B和280B token的中间训练，再进行后训练。这个量远少于重新做一遍完整预训练，也足以成为独立的大项目。我们的预算由自己的能力缺口和学习曲线决定。

那从零训练什么时候值得？例如，要试一种现有权重无法支持的新架构；要重新设计分词器；要掌握全部训练材料的来源；或者已有模型在关键任务上始终达不到目标，而团队有资源重新建立基础能力。从零给予这些设计自由，也要求我们重新支付广泛学习和训练稳定性的成本。最终效果仍要与现有模型比较。

本系列保留从零路线，是为了把这套工程从头讲完整。对于现在要做产品的公司，我会先做现有模型的基线评估，再决定需要补哪一段训练。

基线：新增训练开始前，模型在同一套任务上的能力与成本记录。

继续预训练：继承已有参数，继续阅读材料、预测下一token，补充领域知识或能力。

监督微调（SFT）：用输入与示范回答继续训练，让已有模型更好地按要求完成任务。

强化学习（RL）：根据模型自己的尝试及结果反馈更新参数。代码任务可以用程序测试提供反馈。

先选学生，再选教师

学生是我们最终部署的模型。教师负责提供示范。两者可以来自不同团队，也可以采用不同结构。选择学生时，先检查权重、训练阶段、许可与运行成本，再比较能力。

截至2026年10月19日，我会这样安排首轮学生评测：

对于中英加代码产品，先测新版Qwen是否已经达到任务要求，并确认产品用途对应的许可；Laguna作为代码基础版对照。需要原始通用基础权重、并接受更大容量时，再加入DeepSeek 284B。这样第一轮就能回答：继承现成行为是否足够，还是值得从基础版补训练。

ngram记忆模块：按连续token片段检索的记忆部分。模型卡把它与主干参数分开列出。

MTP：多token预测模块，帮助模型学习或提出后续多个token；其参数与主干分开记账。

MaaS：把模型能力作为在线服务提供给客户。模型许可可能为这种用途另设条件。

若进一步放宽容量，GLM-5.3-Flash也可作为学生对照：320B总参数、18B激活，已完成后训练，权重采用MIT许可。它与200B目标的规模差异要同时进入部署预算。

最新版本应当进入评测。升级是否值得，还取决于我们能否继承需要的能力、训练框架是否支持，以及许可是否适合产品。一个已完成后训练的新版，可以作为继续学习的起点；如果实验需要原始基础权重，就要选择明确发布Base版本的模型。

教师也跟着当前版本更新。GLM-5.3的官方模型卡说明，它与5.2使用同一个基础模型，改进来自后训练。这正好说明继承权重的价值：基础能力可以保留，再集中改进解题与做事的方式。

当前代码教学材料的首轮教师，我会选GLM-5.3与DeepSeek-V4.1-Flash-1017，给同一批题目与测试。GLM-5.2已有NVIDIA代码蒸馏对照可以参考；5.3和1017的优劣，要看同一个学生学完以后怎样。较轻的GLM-5.3-Flash可以另作成本候选，其320B总参数、18B激活也已超过本篇200B学生目标。

版本升级时重新检查许可。GLM-5.3采用自己的模型许可，不能沿用5.2的MIT标签；1017权重许可为MIT。生产选择同时看许可适用性、合格讲解成本和学生新题成绩。教师生成资料的费用单列，学生只需学习最终选中的材料。

现有模型多为MoE，总参数决定要存多少权重，每个token激活的参数则影响部分计算成本；网络通信、记忆模块和具体实现也会影响速度。前文200B稠密模型的卡数与训练时间，要按新起点重新计算。

基础模型（Base model）：完成广泛预训练、可继续训练的模型。模型名称里明确的Base通常用于区分后训练版本。

教师模型：为学生提供示范或其他学习信号的模型。

蒸馏：利用教师的输出或概率等信号训练学生。教师可以比学生更大，也可以采用不同结构。

数据先按用途找，再合并成库存

选择材料时，我会从刚才的能力缺口往回找。中文不足就扩大中文来源，代码修改能力不足就增加仓库、提交与可执行任务。预训练用的正文库、后训练用的示范题、强化学习用的环境，各自有不同用途。

原来的FineWeb、FineWeb2、The Stack v2、FineMath和arXiv继续保留。除此之外，2026年10月19日核对资料卡后，下面这些来源能补不同的缺口：

需要CUDA专项能力时，再加入2026年发布的Nemotron-SFT-CUDA-v1。它保留通过程序测试与相应检查的解答，适合明确的代码优化目标。

展开看：这些数据集的体量、访问方式与重复关系

原有来源里，FineWeb公开规模超过18.5T发布者token；FineWeb2中文子集列出约5,435亿词，需重新分词。The Stack v2完整训练版本约900B发布者token，Hugging Face主要提供标识，正文通过Software Heritage取回。FineMath-3+约34B，配套InfiMM-WebMath-3+约20.5B，两者有重叠，精选4+又是各自的子集。FineWeb、FineWeb2、The Stack v2、FineMath和arXiv获取说明分别给出入口。

IndustryCorpus2列出中文约1TB、英文约2.2TB，字节量要转成项目token。Nemotron-CC-v2.1新增约2.5T发布者token；Code-v2的原始代码部分约340B；Math-v1的3plus约133B，4plus约52B包含在其中。FineWeb-Edu约1.3T，已经属于FineWeb。这些公开规模都要经过我们的来源检查、跨库去重和统一分词，才能进入项目库存。

OpenThoughts3的120万记录来自约7.5万题、每题多条轨迹。OpenR1-Math同样为一题提供多个回答。记录数、独立题目数和token数分开保存，才能知道覆盖面究竟有多大。教师版本也随记录保存，旧教师数据可以做可复现基准，新教师的增量价值再由学生实验判断。

NVIDIA上述预训练数据集采用其训练数据访问协议；IndustryCorpus2也有访问条件。数据卡的许可与原始来源要求一起检查，完成访问后按文档规定取回内容。选择这些来源，并不意味着把它们全部下载后混成一库。

接收每个来源时，先取小样，检查来源与使用条件，提取正文，按项目分词器计数，再测清洗速度与保留比例。确认有用以后才扩大下载。数据集名称和公开体量是找材料的入口，验收账本记录我们实际留下的内容。

不同来源往往包含同一份网页、代码或题目，所以最后还要跨来源去重。学科材料先归学科，代码先归代码，剩下的进入一般语言；语言、长度、来源日期分别做标签。一篇中文数学讲义可以带三个标签，库存只记一次。

Token：模型处理文字的小片段。不同分词器得到的数量不同，所有项目库存统一按学生的分词器计数。

去重：识别同一份或高度相似的材料，避免通过不同入口重复收入库存。

合格库存：经过来源、质量和去重验收后，可用于该训练阶段的材料总量。

从零路线的4T，怎样算出来？

现在回到本系列的案例。第二篇为200B稠密模型选择了4T首轮预训练预算。它沿用训练token约为参数量20倍的经验起点，给算力与现金计划一个统一的工作量。

200B × 20 = 4,000B token = 4T token

公司若改用现有权重，就从前面的基线与缺口重新安排新增token。下面的账本专门服务于从零案例。

容量测算示例安排一般英文2,500B、一般中文800B、代码600B、数学与科学100B。一般语言承担覆盖面，代码和学科内容承担专项练习。它们分别占62.5%、20%、15%和2.5%。代码、学科内容里的中英文另按语言标签统计。

仓库里有100本书，读两遍仍然只有100本；训练系统完成的是200本的阅读量。把库存和累计工作量分开，就得到下面这份可以核算的预算示例。

2,500 + 800 + 590 + 100 + 10 = 4,000B = 4T

代码600B包含590B原生材料和10B教师材料。这份示例对应3.255T库存加0.745T重复阅读。右边的1和2把库存容量与工作量对齐，用于估算存储、处理和训练成本。实际执行按目标能力混合采样合格材料，并在训练途中定期验证；每一份重复读取的算力，都经过下一节的比较后再投入。4T保留为本系列的案例工作量与当前预算上限，达到目标可以提前结束。

下一批算力，花在新材料还是重读？

我会给数据团队一条明确的默认顺序：先让模型接触质量达标、覆盖目标能力的新材料；某一类材料有限，或精选材料有明确优势时，再为它安排重复。训练过程中按固定工作量检查进步，把下一批算力交给收益更高的选择。这里的“新材料”指本次增量训练尚未读取的材料；现有模型原来读过哪些内容，按其公开记录核对。

2026年10月4日公开的《What Is a Repeated Token Worth?》比较了这两种投入。在其14M至2B模型实验里，同等质量、固定计算预算下，新材料整体更划算；材料有限时，第二遍仍能带来较高收益，继续重复的边际收益下降。同日的《Selecting Repetition Counts Across Model Scales》说明最佳次数会随模型规模改变。这两篇预印本给我们的顺序提供依据，200B的实际配额继续由项目验证。

最新生产报告也展示了这种分配方式。NVIDIA 2026年10月的500B中间训练方案中，同一阶段里的来源读取次数就不同：

这是该团队的实际方案，说明同一模型可以少读某类、多读另一类。我们的项目同样先分配任务所需的训练量，再从账本算出遍数。

把顺序落实成操作，需要先准备三份彼此分开的材料：训练库用于学习；验证集用于选择配方、检查点和停止时机；最终测试集封存，到方案确定后再做一次独立验收。

这个比较先给试验设定GPU小时上限，按实际吞吐换成可处理token；在这个范围内筛选，再在目标模型的训练检查点验证。重复实验或抽样误差估计，用来判断看见的提升是否可靠。每次分支都从相同检查点出发，新增token与训练设置匹配，才知道区别来自材料。

如果继续预训练的目标是让后训练后的模型更会做事，验收还要多走一步。上述NVIDIA 2026年10月报告发现，基础模型的一些代理指标与最终表现未必一致，因此用同一套短监督微调比较中间训练检查点。我们也固定这一步，再比较最终关心的任务，避免只把正文预测误差降下来。

于是，“读几遍”变成一个可以持续核对的结果：

某类有效读取遍数 = 实际分配给这类的训练token ÷ 该类合格库存token

同样是400B中文库存，如果最后分配800B，平均就是两遍；分配600B，就是1.5遍；提前达标时也可以少于一遍。预算表里的两遍只用于容量测算，数据团队先完成新材料与精选旧材料的等成本比较，再释放重复读取的份额。英文、代码和教师样本各自计算。

监督微调则按题目与回答样本计算。先检查一段训练带来的解题收益，再决定是否继续读同一批示范。它的样本数量、回答损失和目标都不同于广泛预训练，遍数单独安排。强化学习还会生成新的尝试，用过多少题、生成多少答案、更新多少次也分别记录。

检查点：训练途中保存的一份模型参数，可以用于评估、恢复和比较后续方案。

验证集：用于调整训练方案的独立材料，始终不进入训练。

最终测试集：方案确定后用于验收的材料，在调参过程中保持封存。

有效读取遍数：某类累计训练量除以其合格库存。混合采样时可以是小数。

CoT为什么值得收集？

看一道小题：“把整数列表从小到大排序，保留重复值。”输入[3, 1, 3]，结果应该是[1, 3, 3]。教师可以只交出答案，也可以写出关键选择。

题目：把整数列表从小到大排序，保留重复值。

关键步骤：两个3都要保留。set(xs)会合并重复值，因此直接用sorted(xs)排序原列表。

检查：结果[1, 3, 3]有序，原来的元素也都保留了。

答案：return sorted(xs)。

这些中间解题步骤叫Chain of Thought，简称CoT。答案教给学生一个输入与输出的对应关系；步骤还展示要求怎样影响选择，以及怎样检查结果。遇到另一道要求保留重复值的题，学生有机会迁移这条方法。

CoT对两个训练阶段都有用途，学习目标有所不同。

ICLR 2026接收的《Front-Loading Reasoning》研究了8B模型在预训练中提前接触推理材料，观察到基础能力和后续微调的收益。NVIDIA 2026年9月的代码报告则直接用教师轨迹监督微调已有模型，再按实验结果增加强化学习。两者回答了不同阶段的问题。

我会把现有权重路线中的CoT投入先放到SFT，并与只答案的示范比较。若基线显示还需要补基础能力，再研究继续预训练里是否加入推理文档。从零案例先留10B代码讲解试验，占4T的0.25%；这个比例是本项目的试产范围，是否扩大会看验证收益。

取得的CoT是教师可见的解题文字。研究表明它未必完整反映模型内部的影响因素。数据团队把它当教学材料：检查过程是否成立、是否支持答案、是否能帮助学生解决新题。

生产时，先准备题目、参考解法和独立测试，再让教师生成候选。代码通过测试以后，逐段检查讲解。删去重复与无关内容，保留决定解法的条件、必要推导和检查；编辑后重新验证。题目、解法、来源仓库与评估题家族一起去重，避免用同一道题的改写填满训练集。

这道排序题可以用空列表、负数、重复值和随机列表测试。sorted(set(xs))在重复值测试里失败；即使代码正确，如果讲解声称“先去重”，这份示范也要重写。最终选择“只答案”“关键步骤加答案”还是长过程，用同一学生、相同训练token预算比较。

Chain of Thought（CoT）：模型写出的中间解题步骤，可以包含分析、推导、检查和纠错。

合成数据：由模型或程序生成的材料；这里使用经过验证的教师示范。

损失（loss）：衡量预测与训练目标相差多远的数值。哪些位置参与计算，由训练方案决定。

如果希望让Claude当教师，怎样落地？

闭源模型可以通过API提供示范。我们需要取得的是这批输出用于训练的许可，以及足够稳定的数据生产条件。

截至2026年10月19日，Anthropic商业条款D.4要求，使用其服务训练竞争模型须获得明确批准。我们计划训练通用200B学生，先向其商务渠道说明用途，并取得覆盖该用途的批准。现有API账户只代表能够调用服务。

我会准备这样一份合作申请：学生的规模与商业发布方式，中文、代码等任务范围，预计请求与token量，打算保存的答案、代码、讲解或可见推理摘要，以及训练和再分发用途。官方商务入口用于提交需求；具体是否接受、价格和配额由对方回复。

取得批准后，按约定的模型版本与输出范围生成材料：

1. 数据团队准备题目、参考答案与独立测试。
2. 获准的API生成答案和可核验的解法说明；授权涵盖时，再保存接口提供的推理摘要。
3. 独立检查代码、答案与步骤，按题目家族去重，记录来源和许可版本。
4. 用同一个学生、相同预算，与开放教师材料进行SFT对照，再决定生产份额。

Claude的官方思考接口说明区分可返回的摘要与完整内部推理。学生可以学习获准取得的答案、讲解和摘要；质量依靠核验与训练效果判断。合作条款未落实时，生产教师使用许可适合的自部署权重。

展开看：Anthropic怎样限制未经许可的蒸馏？

Anthropic在2026年10月12日公开的措施包括展示推理摘要、保护原始推理记录、用两阶段分类器检测抽取行为，以及对反复违规账户限制额度或封禁。它们减少可被收集的信息，并提高未经许可收集的成本。

获准合作走约定的输出与用量通道，数据团队按合同记录材料。未来如果我们提供模型服务，也需要决定哪些输出开放、哪些用途需要单独许可，以及怎样识别异常请求并处理申诉。

展开看：从零路线中的10B教师材料，怎样计数和算成本？

假如每份通过验收的教学文档，题目、保留的步骤、代码和训练格式合计平均2,000个学生token，10B就对应：

5,000,000份 × 2,000 token = 10,000,000,000 token = 10B

也就是500万份合格文档。2,000是用来安排生产量的平均长度目标，最终账本把每份文档的实际token数加起来。只变换数字或改写措辞的近似题目，会在去重时合并；我们需要的是任务与解法的覆盖面。

教师要生成的候选会更多，因为有些答案过不了检查。先生产一万条候选，记录保留下来的文档数和token量、全部生成与测试费用，以及学生的小规模对照结果。用这批实测数计算：

预计整批生产费用 = 10B ÷ 试产合格token数 × 试产全部费用

CoT也要入账。假设老师为一条候选生成了5,000个教师token，整理后交付的文档是2,000个学生token：生成费用按老师实际做的工作记，学生库存只记最终这2,000个。被删去的过程和被淘汰的候选都已经消耗了教师算力。

这里的费用包括被淘汰的候选、教师处理输入与生成输出、测试、核查和存储。扩大规模时再用实际吞吐与通过率更新。教师有自己的分词器，服务计费或推理吞吐按教师口径记；进入学生账本时，用学生分词器重新计数。

10B在4T容量预算以内；最终投产量由试验收益决定。完成全部4T工作量时，学生主要预训练计算沿用第二篇的基线；提前结束则按实际处理量结算。老师生产材料需要额外算力，验证需要额外工程投入，把它们单列进数据准备预算和时间线。31天是完成原4T预算工作量的学生主训练窗口，教师生成安排在对应材料交付之前。

基础模型完成后，我们还会用教师帮助准备指令问答，让模型学会按要求回答。这属于后训练，另记样本量、训练遍数和费用。那时即使复用一份材料，学生再次读它，也会产生新的训练工作量。

数据团队接下来交什么？

对于准备做产品的公司，第一份交付是现有模型的能力与成本基线。第二份是缺口对应的训练方案：补知识、学示范，还是练可验证任务。每类材料带着来源、版本、去重记录、训练用途和学生token数入库；教师材料再附生成与验证记录。新增数据量按检查点收益逐步批准，读取次数跟着实际分配计算。

对于本系列的从零案例，4T仍是工作量预算，3.255T是与它配套的库存容量示例。数据团队先验收实际库存，按目标能力混合采样，并在训练途中定期验证；按统一成本比较新材料与精选旧材料的收益，再决定是否增加重复。达到目标或追加学习没有稳定收益时，保存验证集最好的检查点，停止加量。教师生产成本与学生训练成本分别入账。

下一篇从一份网页开始，跟踪正文提取、清洗和去重。无论从零还是继承权重，这些步骤都决定了我们最终交给模型的材料是否值得读。