对于梯度下降算法当参数特别哆时容易发现，速度会变慢需要迭代的次数更多。优化速度与学习率、梯度变化量息息相关如何自适应地在优化过程中调整学习率和梯度变化有利于加快梯度下降的求解过程，比如在陡峭的地方变化的梯度大一点学习率大一点等等。

下面三种算法都是基于指数加权移動平均法考虑前面梯度对当前梯度的影响来对梯度、学习率作调整从而更快收敛。

自适应估计算法（Adam）

以上算法流程均参考吴恩达老师《改善深层神经网络》视频内容谢谢老师的仔细讲解！

#批量梯度下降法求最小值解 所有矩阵运算一律将ndarray转为matrix，以矩阵形式存储的向量一律转为列形式（n行一列的矩阵）
#alpha为学习速率eps为一个特别小接近于0的值，循环种终止条件：1.达到最大迭代次数 2.损失函数变化量小于eps
#alpha为学习率 beta为加权系数 max_iter为最大迭代次数 eps1为损失函数变化量阈值 eps2为梯度变化的阈值
# alpha为全局学习率 beta1为v的衰减速率向量一般取0.9 beta2为S的衰减速率向量，一般取0.9 max_iter为最大迭代次数 eps1为损失函数变化量阈值 eps2为微小扰动1e-8
 

 
 

 

 参数求解结果都比较接近损失函数衰减图这里就不展示了！