神经网络的训练与从 RNN 到 Transformer 的历史进程

文章面向普通软件开发人员，从两个参数的线性模型出发，讲解损失函数、梯度下降、链式法则、反向传播以及 Batch、Epoch 和张量。随后从训练难点出发，梳理多层网络、RNN、LSTM、GRU 到 Transformer 的演进，说明自注意力、并行计算、残差连接和归一化如何改善信息传播与模型训练，并附有基于 PyTorch 的极简 GPT 训练代码。