📚 课程大纲

1. 例一：最根本的基石 —— LLM 是一个“概率分布生成器”
2. 例二：推理的艺术 —— 在概率空间中进行文字“寻宝”
   • 温度(Temperature)采样：如何控制模型的“想象力”
   • Top-p (Nucleus) 采样：让模型自己决定“候选词范围”
3. 例三：训练的智慧 —— Dropout 作为一种统计上的“集体决策”
4. 例四：评估的标尺 —— 困惑度(Perplexity)如何衡量模型的“迷茫”
5. 例五：实证的启示 —— 缩放法则(Scaling Laws)的统计学魔力

例一：最根本的基石 —— LLM 是一个“概率分布生成器”

这是理解一切的起点。你可能会认为LLM是在“思考”并输出一个词，但从数学上讲，它只做一件事：计算下一个词的概率分布。

核心理论：语言的概率链式法则

概率论告诉我们，一个句子（词序列 $w_1, w_2, ..., wn$）出现的概率可以这样分解： $P(w_1, w_2, \dots, w_n) = P(w_1) \cdot P(w_2 | w_1) \cdot P(w_3 | w_1, w_2) \cdot \dots \cdot P(w_n | w_1, \dots, w{n-1})$ 这个公式的意思是：整个句子的概率 = 第一个词的概率 × (在第一个词出现后，第二个词出现的概率) × (在前两个词出现后，第三个词出现的概率) × ...

LLM如何实现它？

LLM的自回归（Autoregressive）结构，就是对这个链式法则的完美模拟。

当你输入一个提示（prompt），比如 "今天天气很好，我们一起去" 时，LLM的内部流程是：

1. 编码上下文: 模型将 "今天天气很好，我们一起去" 这段文本编码成一个包含丰富信息的向量。
2. 预测下一个词的Logits: 模型将这个上下文向量通过最后的线性层（我们之前讨论的W_cls），输出一个横跨整个词汇表（比如5万个词）的Logits向量。
   • Logits = [z_公园, z_爬山, z_吃饭, ..., z_睡觉]
3. 应用Softmax: 模型对Logits向量应用Softmax函数，将其转换成一个合法的概率分布。
   • Probabilities = softmax(Logits)
   • Probabilities = [p_公园, p_爬山, p_吃饭, ..., p_睡觉]
   • 例如，[0.3, 0.25, 0.15, ..., 0.001]
   • 这个概率向量 Probabilities 就是 $P(\\text{下一个词} | \\text{"今天天气很好，我们一起去"})$ 的具体数值体现。

统计学连接:

• LLM的输出不是一个确定的词，而是一个多项分布 (Multinomial Distribution)。它定义了词汇表中每个词在当前上下文中出现的可能性。