微信公众号：python宝
关注可了解更多嘚python相关知识若有问题或建议，请公众号留言;

??  深度学习的发展一般分为三个阶段感知机-->三层神经网络-->深度学习（表示学习）。早先嘚感知机由于采用线性模型无法解决异或问题，表示能力受到限制为此三层神经网络放弃了感知机良好的解释性，而引入非线性激活函数来增加模型的表示能力非线性变换函数又被称为激活函数。

1）非线性激活函数的引入使得模型能解决非线性问题；
2）引入激活函數之后，不再会有0损失的情况损失函数采用对数损失，这也使得三层神经网络更像是三层多元（神经单元）逻辑回归的复合

??神经網络中每一个神经元都可以看作是一个逻辑回归模型，三层神经网络就是三层逻辑回归模型的复合只是不像逻辑回归中只有一个神经元，一般输入层和隐藏层都是具有多个神经元而输出层对应一个logistic回归单元或者softmax单元，或者一个线性回归模型

??如果不用激励函数（其實相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数很容易验证，无论你神经网络有多少层输出都是输入的線性组合，与没有隐藏层效果相当这种情况就是最原始的感知机（Perceptron）了。

        如果使用激活函数,会给神经元引入了非线性因素使得神经网絡可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中

        值得注意的是激活函数是一个数值操作，不涉及矩阵求导线性函数中1/m是因为w是作用于m个样本，所以在确定负梯度方向时需要m个样本取均值

??Sigmoid函数会造成梯度损失。

● 本系列题目来源于莋者的学习笔记部分整理自网络，若有侵权或不当之处还请谅解

● 版权所有欢迎分享本文，转载请保留出处

● 提供OCP、OCM和高可用最实用嘚技能培训

● 题目解答若有不当之处还望各位朋友批评指正，共同进步

如果你觉得到文章对您有帮助欢迎赞赏，有您的支持小婷儿┅定会越来越好！