本篇博客是学习过程中的笔记謹慎阅读，欢迎指正
时间仓促，LeNet-5的具体结构可能会有偏差具体以论文为准，留坑待填

另外，csdn的latex公式挂掉了不知道怎么回事，以代碼形式给出式子 KaTex 多行公式只支持aligned，不支持align = =

感知器数学技巧，脑补能力

上面是自己画的一张图

过程如上图中左边箭头指示的过程。
${}_{}\underset{}{\overset{}{0}}\underset{}{\overset{}{0}}{}_{}{}_{}{}_{}$

0

隐藏层到输出层的BP如下

输入层到隐藏层的BP如下

$\begin{array}{cc}\frac{}{{}_{}}& \frac{}{{}_{}}\frac{{}_{}}{{}_{}}\frac{{}_{}}{{}_{}}\\ & \frac{{}_{}}{}\frac{}{}\underset{}{\overset{}{0}}{}_{}{}_{}{}^{}{}^{}{}_{}{}_{}\\ & \underset{}{\overset{}{0}}{}_{}{}_{}\frac{{}_{}}{{}_{}}{}^{}{}_{}{}_{}\\ & \underset{}{\overset{}{0}}{}_{}{}_{}\frac{{}_{}}{{}_{}}\frac{{}_{}}{{}_{}}{}^{}{}_{}{}_{}\\ & \underset{}{\overset{}{0}}{}_{}{}_{}{}^{}{}_{}{}_{}{}^{}{}_{}{}_{}\\ & \underset{}{\overset{}{0}}{}_{}{}_{}{}^{}{}_{}{}_{}\\ & {}_{}{}_{}\end{array}$

${}_{}\underset{}{\overset{}{0}}{}_{}{}_{}{}^{}{}_{}\frac{}{{}_{}}$η则梯度下降权值更新为：

类似于平均池化sigmoid激活

类似于平均池化，sigmoid激活

84*10的径向基函数

0

W参数是似乎是固定的暂时不懂。如果训练的话如下

$\frac{}{{}_{}^{}}$?yil??E?需要在loss层给出

$\begin{array}{cc}\frac{}{{}_{}^{}}& \underset{}{\overset{}{0}}\frac{}{{}_{}^{}}\frac{{}_{}^{}}{{}_{}^{}}\\ & \underset{}{\overset{}{0}}\frac{}{{}_{}^{}}{}_{}^{}{}_{}^{}\\ & \underset{}{\overset{}{0}}{}_{}^{}{}_{}^{}{}_{}^{}\end{array}$

120*84的全连接加84的偏置，与MLP-NN过程相同激活函数使用了$$

现在不管形状，讨论卷积的反向传播

(N,N)其中每个像素点都可能是一个值或者向量或者多维的数据。

K个每个卷积核参数为${}_{}^{}00$W中的烸一个数值的维度都与原图$$(N,N)中像素的维度相同，$$K个卷积核之后会形成新的图像像素点变为$$

${}_{}^{}\underset{}{\overset{}{0}}\underset{}{\overset{}{0}}{}_{}^{}{}_{}^{}{}^{}0{}_{}^{}{}^{}{}_{}^{}{}_{}^{}$

由于不同卷积核进行的过程是相同的，之后省略${}^{}{}^{}$

?yil??E?由上一层给出求$\frac{}{{}_{}^{}}$

$\begin{array}{cc}\frac{}{{}_{}^{}}& \underset{}{\overset{}{0}}\underset{}{\overset{}{0}}\frac{}{{}_{}^{}}\frac{{}_{}^{}}{{}_{}^{}}\\ & \underset{}{\overset{}{0}}\underset{}{\overset{}{0}}{}_{}^{}{}_{}^{}\end{array}$

$\begin{array}{cc}\frac{}{{}^{}}& \underset{}{\overset{}{0}}\underset{}{\overset{}{0}}\frac{}{{}_{}^{}}\frac{{}_{}^{}}{{}^{}}\\ & \underset{}{\overset{}{0}}\underset{}{\overset{}{0}}{}_{}^{}\end{array}$

$\begin{array}{cc}\frac{}{{}_{}^{}}& \underset{}{\overset{}{0}}\underset{}{\overset{}{0}}\frac{}{{}_{}^{}}\frac{{}_{}^{}}{{}_{}^{}}\\ & \underset{}{\overset{}{0}}\underset{}{\overset{}{0}}{}_{}^{}{}_{}^{}\end{array}$

这样这一层的推导已经做完了。

$\begin{array}{cc}{}_{}^{}& \frac{}{{}_{}^{}}\\ & \frac{}{{}_{}^{}}\frac{{}_{}^{}}{{}_{}^{}}\\ & \underset{}{\overset{}{0}}\underset{}{\overset{}{0}}{}_{}^{}{}_{}^{}{{}^{}}^{}{}_{}^{}\\ & {{}^{}}^{}{}_{}^{}\underset{}{\overset{}{0}}\underset{}{\overset{}{0}}{}_{}^{}{}_{}^{}\end{array}$

δl?1相当于使用旋转180度嘚${}^{}$δl上进行卷积定义旋转180度后的$$

注意到LeNet-5中没有卷积层直接与卷积层相连接的地方，所以上式没有用到以后应该会用到吧（大概

S4是池化層，在LeNet5中使用的是$$2×2的区域加和乘权重${}^{}$

0 0

$\begin{array}{cc}\frac{}{{}^{}}& \underset{}{\overset{}{0}}\underset{}{\overset{}{0}}\frac{}{{}_{}^{}}\frac{{}_{}^{}}{{}^{}}\\ & \underset{}{\overset{}{0}}\underset{}{\overset{}{0}}{}_{}^{}\underset{}{\overset{}{0}}\underset{}{\overset{}{0}}{}_{}^{}\end{array}$

$\begin{array}{cc}\frac{}{{}^{}}& \underset{}{\overset{}{0}}\underset{}{\overset{}{0}}\frac{}{{}_{}^{}}\frac{{}_{}^{}}{{}^{}}\\ & \underset{}{\overset{}{0}}\underset{}{\overset{}{0}}{}_{}^{}\end{array}$