机器学习概念一页纸
名词速查（按"实际作用"解释）
可以把训练想成教小朋友做“猜水果”游戏：先给答案打分（loss），再告诉他应该往哪个方向改（梯度），每次改多少由学习率决定。练习册、模拟考和正式考试分别对应训练集、验证集和测试集；如果他只背熟练习册上的原题，换一道题就不会，那就是过拟合。
- 损失函数（loss function）：给"模型这次错得有多离谱"打分的公式，分数越低代表错得越少。（下面详解）
- 梯度下降（gradient descent）：把损失一点点降下去的办法。（下面详解）
- 学习率（learning rate）：梯度下降每一步迈多大。（下面详解）
- 过拟合（overfitting）：模型死记训练数据、无法举一反三的现象；反义是泛化（generalization）。（下面详解）
- 训练集 / 验证集 / 测试集：练习册 / 模拟考 / 高考。模型只从练习册学习，用模拟考调整策略，高考成绩才算数——用来诚实地衡量泛化能力。
- epoch：把整个训练集完整过一遍叫一个 epoch。
- 超参数（hyperparameter）：训练开始前由人设定、训练中不改的配置（如学习率、层数、批大小），区别于训练中自动学出来的参数（权重）。
- 神经网络（neural network）：一堆可调参数组成的多层嵌套函数，输入进去、预测出来。"深度学习"的深度指的就是嵌套的层数多。
- embedding（嵌入向量）：把文字变成一串数字（向量），语义相近的文字向量也相近。 ⭐ 这是 RAG 的理论基础，Embedding 基础会实际用到。
- Transformer / 注意力机制（attention）：当前主流大模型的网络结构。注意力的实际作用： 生成每个词时动态决定"重点看前文的哪些词"。
- GPU / 显存：训练和推理的算力来源。模型参数量 × 精度决定占多少显存——这就是 70B 模型 跑不进消费级显卡、以及量化技术存在的原因。
展开理解：训练是怎么回事
上面四个最常被追问的概念其实是一条链——先给错误打分（损失函数），再想办法把分降下去（梯度下降）， 每一步降多少要控制（学习率），而降得太"贴合训练数据"又会引出新问题（过拟合）。逐个看。
1. 损失函数：为什么分数越低越好
模型训练前，内部参数是随机的，输出几乎全错。要让它变好，第一步得能量化"这次输出离正确答案差多少"。 损失函数就是这个量化打分：模型的预测和真实答案越接近，分数越低；差得越远，分数越高。
分数越低越好，是因为损失被定义成"错误的大小"本身——0 表示完全预测正确，正数表示还有错， 数值就是错误的严重程度。因此"把损失降到最低"和"把错误改到最小"是同一件事，这是整个训练唯一的目标。
具体到大模型：每预测一个 token，模型会输出一张概率表（见 大模型是怎么工作的 里的 Softmax）。 损失衡量的是"真正正确的那个 token 被分到的概率高不高"——正确 token 的概率越高，损失越低。 （这个打分公式的学名叫交叉熵，记住作用即可。）
2. 梯度下降：怎么把损失降下去
有了分数，还需要一个降分的办法。模型动辄上百亿个参数，逐个试着调根本不可能。 梯度下降借助数学求导，一次性算出：每个参数该往哪个方向、调整多少，能让损失下降得最快。
可以想象成一个人蒙着眼睛站在山坡上，想走到谷底（谷底 = 损失最低点）。他看不见全局， 但能感觉出脚下哪个方向最陡，于是朝最陡的下坡迈一小步；到了新位置再感觉、再迈。 这个"最陡下坡方向"就是梯度。一次完整的"算损失 → 算梯度 → 微调全部参数"叫一步（step）， 训练就是把这一步重复亿万次。
3. 学习率：每一步迈多大
梯度只指出方向，至于每一步迈多大，由学习率决定。它是训练里最关键的超参数之一：
- 太大：一步跨过谷底，在两侧来回横跳，损失剧烈震荡、迟迟降不下去，甚至越跳越高。
- 太小：方向没错，但每步只挪一丁点，要极多步才到底，训练又慢又费算力。
实践中学习率常常是动态的——先大后小：开头用较大的步子快速接近谷底，后期换小步子精细微调。
4. 过拟合：损失并非越低越好
损失越低越好只说对了一半。这里有个陷阱：模型可能不是"学会了规律"，而是"把训练数据背了下来"。 它在训练集上损失极低，一碰到没背过的新数据就露馅——这就是过拟合。 类比：只刷一套题库、刷到每题全对，一换新题就不会，因为记住的是答案而不是解法。
成因：当参数足够多、训练足够久，模型有足够的"容量"去死记每一条训练样本的细节（连噪声一起记）， 而不去提炼通用规律。发现它的办法是用模型没见过的验证集打分——训练损失一直在降、 验证损失却开始回升，就是过拟合的信号。常见对策有早停（验证损失回升就停）、增加数据量、 正则化、dropout 等（先混个脸熟）。
训练真正想要的从来不是"训练集满分"，而是泛化：在没见过的数据上也表现良好。