本课模式:四步「纸面作业」——不是敲代码,是先把路线想明白。做完你会得到一张自己的条件盘点表 + 一份阶梯计划,它是后面 13 课的地图。
📋 本课你将完成
- 能说出 A/B/C 三个目标(能力/模型/旗舰)的区别
- 完成自己的条件盘点表(第 2 步)
- 画出 0→1 流水线的七环节(第 3 步)
- 写下自己的阶梯计划(第 4 步)
- 记住三条铁律并承诺遵守
步骤 1
三个目标,分开计时
未完成🎯 这一步的目标:理解「训练自己的大模型」其实是三件不同的事,别混在一起。
▶ 预期输出(点开对照)
A. 训练能力 —— 数据/管道/评估/调参的手感。现在就能开始,1–2 周跑通全链路。 B. 自己的模型 —— 从零或从开源基座出发,全程自己训。现在可做 0.1–3B,租 GPU 可更大。 C. 追平旗舰 —— 通用能力达到 GPT-5 级。算力数量级问题,不是努力问题。
✅ 检查点:你能说出「A 是复利资产、B 是逐步收获、C 是远期方向」。
步骤 2
条件盘点:你站在哪
未完成🎯 这一步的目标:诚实地清点自己的硬件、算力、数据、时间——这决定你从哪一档开始。
▶ 预期输出(点开对照)
Apple Silicon + 16GB:从零训 50M–100M;QLoRA 微调 1.5B–3B;推理 7B 量化 32GB+:可微调 7B QLoRA 云 GPU 按需(AutoDL/RunPod/Vast):0.5B–1B 从零预训练;7B SFT+RL 数据:公开语料 + 你的结构化数据(火星因果链是差异化) 时间:每周几小时(可复利)
▶ 预期输出(点开对照)
(见下方「配置计算器」实验)
✅ 检查点:你能说出自己当前条件的边界(能训多大、不能训多大)。
步骤 3
画出 0→1 流水线
未完成🎯 这一步的目标:把整个训练流程画成一条链——后面每课都是其中一个环节的放大。
▶ 预期输出(点开对照)
① 认知 → ② 数据(语料·清洗·配比)→ ③ 预训练(架构·目标·实操)→ ④ 后训练(SFT·DPO/GRPO)→ ⑤ 评估 → ⑥ 部署(量化·服务化)→ ⑦ 规模化(云 GPU·持续演化)
▶ 预期输出(点开对照)
①→01/02 | ②→03/04 | ③→05/06/07 | ④→08/09 | ⑤→10 | ⑥→11 | ⑦→12/13/14
✅ 检查点:你能不看笔记画出七环节,并说出每环节对应课程。
步骤 4
写自己的阶梯计划
未完成🎯 这一步的目标:把「现在开始」落实成具体的一周动作——这是全课唯一必须写下来的东西。
▶ 预期输出(点开对照)
Rung 0(Mac,¥0):本周完成 02 课(摸模型)+ 07 课(50M 从零预训练) Rung 1(租卡,数百元):0.5–1B 从零预训练(第 14 课规划) Rung 2(Mac/轻量 GPU):3B SFT + DPO(第 08/09 课) Rung 3(钱够时):开源近旗舰基座上 continue-pretrain
✅ 检查点:你有一份写下的一周动作清单(具体到「哪天做什么」)。
🧪 交互实验 · 配置计算器:你的条件能训多大?
拖动选项,看你的硬件/算力组合能做什么——对照第 2 步的条件盘点。
注意看:没有云 GPU 时,你的上限是「3B 微调」;租卡后才有「从零预训练 1B」的能力。这就是「条件决定起点」。
❓ 老师答疑(卡住了先看这里)
❓ 为什么「追平旗舰」不是努力能解决的?
旗舰级模型 = 几十万张卡 + 数亿美元 + 数百人团队。单人 + 按小时租卡,在通用能力上追平它不是时间问题,是资源数量级问题。诚实面对这一点,才能把精力放在真正能赢的地方:行为层自决 + 数据主权。
❓ 现在开始和等条件成熟再开始,区别在哪?
训练能力是复利的——数据清洗、评估纪律、loss 曲线直觉都与硬件无关,现在攒的每一分,条件变好时原样接得住。等条件成熟再从零学,等于白丢这段时间。
❓ 三条铁律为什么是铁律?
①大跑之前小跑必须已通:每次只放大一个维度,不拿大钱跑没验证的流程;②评估先于训练:没有可证伪的评估就没资格说变好;③每次运行留 manifest:数据哈希+代码哈希+超参+评估,可复现谱系。它们分别防的是「浪费钱、自欺、无法回溯」。
❓ 本课程和 Lumen 迭代路线什么关系?
本课程 = Lumen 路线 L0.0–L0.3 的能力底座:01–07 覆盖 L0.0–L0.2 管道与预训练,08–10 覆盖 L0.3 的 SFT/对齐/评估。你在这练出的管道,直接服务于「引擎 → 奖励 → 行为变化」回路。
📝 自测清单(全勾才算过)
- 能说出 A/B/C 三个目标(能力/模型/旗舰)的区别
- 完成自己的条件盘点表(第 2 步)
- 画出 0→1 流水线的七环节(第 3 步)
- 写下自己的阶梯计划(第 4 步)
- 记住三条铁律并承诺遵守
全勾 → 节点 01 / 14 完成。未勾 → 回看对应步骤,别急着往前走。