微调与蒸馏基础

课程目标

1. 边界清晰：何时 Prompt、何时 RAG、何时微调、何时换模型。
2. 流程完整：数据 → 训练 → 评测 → 部署 → 回滚，能说能画。
3. 风险意识：数据污染、过拟合、越狱放大、评测泄漏。

决策树（口头版）

任务是否稳定且重复？ ─否→ 优先 Prompt / 动态 RAG
        │
       是
        ↓
是否有足够高质量标注/偏好数据？ ─否→ 先补数据与评测集
        │
       是
        ↓
是否可用更强模型 + 蒸馏解决？ ─是→ 先试蒸馏/合成数据策略
        │
       否
        ↓
再评估 SFT/RLHF 成本与维护

10 天学习路径

Day1：不微调清单

• 任务：列出 5 个「微调是浪费」的场景。
• 验收：与 mentor 或自我辩论记录。

Day2：数据构建

• 任务：设计数据 schema（instruction/input/output/label/metadata）；去重策略。
• 验收：10 条黄金样本 + 10 条困难样本。

Day3：数据质量

• 任务：检查标注一致性；找出矛盾标签。
• 验收：修订规则文档。

Day4：SFT 概念

• 任务：学习学习率、epoch、过拟合信号；画训练曲线理想形态。
• 验收：解释「验证集 loss 回升」意味着什么。

Day5：工具链浅尝

• 任务：用云厂商或开源（如 LlamaFactory 等）跑极小 dry-run（可只读文档 + notebook mock）。
• 验收：列出你环境能用的具体工具与版本。

Day6：蒸馏思路

• 任务：Teacher 生成 → 过滤 → Student 学习；过滤规则设计。
• 验收：说明「学生变笨」的典型原因。

Day7：评测

• 任务：自动指标 + 人工 rubric；分场景（安全、事实、格式）。
• 验收：基线模型 vs 微调候选对比表（哪怕小样本）。

Day8：部署与灰度

• 任务：版本号、流量比例、回滚触发条件（质量阈值）。
• 验收：一页发布 Runbook。

Day9：安全

• 任务：训练数据投毒、提示注入在微调后的放大效应；缓解手段。
• 验收：安全检查清单。

Day10：面试稿

• 任务：8 分钟「为何做/不做微调」决策故事，含数据与指标。

常见陷阱

• 数据少而场景多变，微调必翻。
• 用测试集调参导致虚高。
• 上线无回滚，质量回退不可控。

实操验收

• fine-tune-decision.md：决策树 + 你的项目结论
• 一次最小实验记录（真实或模拟）

最新资料（2026-05 校验）

• OpenAI Fine-tuning 文档
• Hugging Face Transformers 文档
• PyTorch 教程