2.2　优化网络的方法

一般神经网络的训练过程大致可以分为两个阶段：第一个阶段先通过正向传播算法计算得到预测值，并将预测值和实际值比较，得出两者之间的差距；第二个阶段通过反向传播算法计算损失函数对每一个参数的梯度，再根据梯度和学习率使用梯度下降算法更新每一个参数。