25篇，跟我从零训练一个500B大语言模型

1. 我们该买哪种GPU？
2. 到底需要多少张GPU？
3. 完整预算要准备多少钱？
4. 一个大语言模型里面长什么样？
5. MoE怎样用一部分参数，完成一次计算？
6. Attention是怎样训练出来的？
7. 训练材料从哪里来？
8. 训练数据怎样清洗？
9. 怎样把长文切成训练样本，再搭配成一份配方？
10. 怎样让已有模型帮我们编写训练教材？
11. 训练开始以前，怎样给这些GPU准备好机房？
12. 这5,120张GPU的网卡和网线，究竟怎么装？
13. 数据怎样不断供，训练进度存在哪里？
14. 第一台服务器上，软件怎么装？
15. 一个模型，怎样分给5,120张GPU？
16. 每次读多少，读完怎样更新？
17. 谁来让5,120张GPU一起开工？
18. 什么时候可以让整个集群开始训练？
19. 训练突然停了，怎样接着跑？
20. GPU看起来很忙，为什么训练还是慢？
21. 读过那么多书，怎样学会回答问题？
22. 模型自己做题，怎样从结果里学会改进？
23. 怎样知道这个模型真的练好了？
24. 怎样让用户真正用上这个模型？
25. 模型做出来以后，这笔投入怎样继续产生价值？