https://zhuanlan.zhihu.com/p/24709748

https://zhuanlan.zhihu.com/p/328550101

我们将从你熟悉的线性代数知识开始，然后平滑地过渡到让你感觉是“完全空白”的矩阵求导，并且每一步都将结合我们之前讨论的SFT例子，让你明白为什么要这么做。

矩阵乘法和矩阵求导

🔔 上课铃：我们这堂课的目标

同学们好！今天我们要解决一个核心问题：在反向传播中，那些看起来像“魔法”一样的梯度公式（比如 $X^T * grad_Y$）到底是怎么来的？

这堂课结束时，你将能：

1. 熟练掌握 SFT中用到的基本矩阵运算。
2. 直观理解 什么是矩阵求导。
3. 亲手推导出 反向传播中两个最核心的求导“黄金法则”。
4. 将数学知识 与LLM的权重更新过程无缝连接。

第一部分：矩阵基础复习 (我们已知的知识)

在深入求导之前，我们先快速回顾一下线性代数的基础，并约定好我们的“语言”。

1\. 矩阵的“形状” (Dimensions)

这是最重要的概念，没有之一！矩阵的形状决定了它能和谁运算。我们用 (行数, 列数) 来表示。

• 例子：在我们SFT的例子中，最终的激活向量 H 的形状是 (1, d_model)，比如 (1, 4)。分类器权重 W_cls 的形状是 (d_model, vocab_size)，比如 (4, 5)。

2\. 矩阵乘法 (Matrix Multiplication)

这是LLM前向传播的核心。