学习大模型训练的反向传播与优化器

大模型训练通过反向传播计算损失对各参数的梯度，再由优化器根据梯度更新参数。反向传播利用链式法则沿计算图求导，PyTorch autograd 示例验证了手算结果，并说明梯度累加与清零机制。优化器从 SGD、Momentum 演进到 Adam，分别引入动量和基于梯度历史的自适应步长。