稍微了解一点线性代数和概率论（应该都忘光了），可以视为是接近0基础。
| 课程名 | 内容 |
|---|---|
| 大模型概览 | 大模型的重要时间节点；大模型的各个分支技术，每个分支是做什么的，哪些是有关联的；工业界如何拿来应用？学术界都在做什么 |
| 大模型的基础结构（一） | 结合GPU的结构，以gpt2为例，来讲Tokenizer；Embedding；Attention；FFN；等基础结构，顺便讲解pytorch技术 |
| 大模型的基础结构（二） | 讲述残差连接，LayerNorm等重要知识；最后以llama3为例，再次回顾一下大模型等基础结构，并讲述以llama为代表的现在的开源大模型的结构。 |
| 大模型是概率模型及其稀疏性 | 从概率的角度来简单讲大模型的训练方式决定了这就是一个概率模型；以及目前大模型为什么是稀疏的 |
| 回顾Transformers基础结构 | 了解完decoder-only结构后，重新看attention is all you need,简单讲述bert。 |
| 大模型的其他重要结构 | 位置编码；KV Cache；解码策略； |
| DeepSeek爆火的原因（一） | 对reasoning模型的初步认识；MLA；MTP；GRPO和训练pipeline后面再讲 |
| 课程名 | 内容 |
|---|---|
| 大模型训练概览 | 预训练+CPT；post training （SFT+RL）；损失函数； |
| 反响传播回顾 | 以一个两层的decoder-only模型为例，从损失计算到每一个组建参数的更新 |
| 大模型的上下文和LoRA训练技术 | 大模型的上下文为什么会占据大量的显存，现在工业界如何优化的？ |
| 大模型的预训练 | 定义；数据；workflow；CPT；如何evaluation：以训练一个nanogpt为例 |
| 大模型的SFT | 定义；数据；workflow；如何evaluation；和预训练的差别：以微调一个0.6B模型为例 |
| RL（待定） | 强化学习基础概念；policy gradient;actor- critic；PPO；以强化一个0.6B模型的代码能力为例。 |
| DeepSeek爆火的原因（二） | GRPO；训练pipeline。RL对于推理的意义 |
| 课程名 | 内容 |
|---|---|
| 大模型优化方向概览 | GPU显存占用和利用率分析；推理延迟；FlashAttention；Paged Attention；PEFT；量化 剪枝 蒸馏； |
| GPU显存占用和利用率分析 | |
| 大模型的分布式训练 | |
| 推理延迟 | |
| FlashAttention | |
| Paged Attention | |
| 大模型的稀疏性和对应的压缩 | |
| 大模型的量化 | |
| 大模型的蒸馏 |
| 课程名 | 内容 |
|---|---|
| VLM概览 | |
| CNN | |
| ViT | |
| CLIP系列 | |
| 现代视觉大模型 | |
| stable diffusion |