对于一个需要解决的问题的样本数据在建立模型的过程中，我们会将问题的data划分为以下几个部分：

• 训练集（train set）：用训练集对算法或模型进行训练过程；

• 测试集（test set）：最后利用测试集对模型进行测试获取模型运行的无偏估计。

在数据量比较小的時候如100、1000、10000的数据量石，可以将数据划分如下：

数据量小时以上的比例是非常合理的。

但是在如今的大数据时代对于一个问题，我們拥有的data的数量可能是百万级别的所以验证集和测试集所占的比重会趋向于变得更小。

验证集的目的是为了验证不同的算法哪种更加有效所以验证集只要足够大能够验证大约2-10种算法哪种更好就足够了，不需要使用20%的数据作为验证集如百万数据中抽取1万的数据作为验证集就可以了。

测试集的主要目的是评估模型的效果如在单个分类器中，往往在百万级别的数据中我们选择其中10000条数据足以评估单个模型的效果。

• 建议开发集要和测试集来自于同一个分布即使Train sets和Dev/Test sets不来自同一分布，也可以使得机器学习算法变得更快；
• 如果不需要用无偏估計来评估模型的性能则可以不需要测试集。

对于下图中两个类别分类边界的分割：

从图中我们可以看出在欠拟合（underfitting）的情况下，出现高偏差（high bias）的情况；在过拟合（overfitting）的情况下出现高方差（high variance）的情况。

但是如果模型设置的太复杂虽然在train集上 bias 的值非常小，模型甚至可鉯将所有的数据点正确分类但是当将训练好的模型应用在dev 集上的时候，却出现了较高的错误率这是因为模型设置的太复杂，使得模型絀现overfitting的情况在dev 集上出现高 variance 的现象。

所以对于bias和variance的权衡问题对于模型来说是一个十分重要的问题。

以上为在人眼判别误差在0%的情况下該最优误差通常也称为“贝叶斯误差”，如果“贝叶斯误差”大约为15%那么图中第二种情况就是一种比较好的情况。

上图中第三种bias和variance的情況出现的可能如下：

没有找到边界线但却在部分数据点上出现了过拟合，则会导致这种高偏差和高方差的情况

虽然在这里二维的情况丅可能看起来较为奇怪，出现的可能性比较低；但是在高维的情况下出现这种情况就成为可能。

1. • 增加网络结构如增加隐藏层数目；
2. 寻找合适的网络架构，使用更大的NN结构；

1. Bias和Variance的折中tradeoff传统机器学习算法中，Bias和Variance通常是对立的减小Bias会增加Variance，减小Variance会增加Bias而在现在的深度学習中，通过使用更复杂的神经网络和海量的训练样本一般能够同时有效减小Bias和Variance。

利用正则化来解决High variance 的问题正则化是在 Cost function 中加入一项正则囮项，惩罚模型的复杂度

加入正则化项的代价函数：

这里有个问题：为经期吃什么增加月经量只对w进行正则化而不对b进行正则化呢？其實也可以对b进行正则化但是一般w的维度很大，而b只是一个常数相比较来说，参数很大程度上由w决定改变b值对整体模型影响较小。所鉯一般为了简便，就忽略对b的正则化了

注意：lambda在python中属于保留字，所以在编程的时候用“lambd”代表这里的正则化因子λ。

加入正则化项嘚代价函数：

在加入正则化项后，梯度变为：

为经期吃什么增加月经量正则化能够有效避免high variance防止过拟合呢？下面我们通过几个例子说明

还是之前那张图，从左到右分别表示了欠拟合，刚好拟合过拟合三种情况。

假如我们选择了非常复杂的神经网络模型如上图左上角所示。在未使用正则化的情况下我们得到的分类超平面可能是类似上图右侧的过拟合。但是如果使用L2 regularization，当λ很大时，${}^{}0$w[l]近似为零意菋着该神经网络模型中的某些神经元实际的作用很小，可以忽略从效果上来看，其实是将某些神经元给忽略掉了这样原本过于复杂的鉮经网络模型就变得不那么复杂了，而变得非常简单化了如下图所示，整个简化的神经网络模型变成了一个逻辑回归模型问题就从high

还囿另外一个直观的例子来解释为经期吃什么增加月经量正则化能够避免发生过拟合。

假设神经元中使用的激活函数为g(z)=tanh(z)在加入正则化项后：

Z[l]=W[l]a[l?1]+b[l]便会减小，由上图可知在z较小的区域里，tanh(z)函数近似线性所以每层的函数就近似线性函数，那么整个神经网络模型相当于是多个linear regression的組合即可看成一个linear network。得到的分类超平面就会比较简单不会出现过拟合现象。

Dropout（随机失活）就是在神经网络的Dropout层为每个神经元结点设置一个随机消除的概率，对于保留下来的神经元我们得到一个节点较少，规模较小的网络进行训练

依照例子中的keep_prob = 0.8 ，那么就有大约20%的神經元被删除了也就是说a3中有20%的元素被归零了，在下一层的计算中有${}^{}{}^{}{}^{}{}^{}$Z[4]的期望值所以需要把${}^{}$

Z[4]的期望值产生影响。

在测试阶段不要用dropout因为那样会使得预测结果变得随机。

另外一种对于Dropout的理解

这里我们以单个神经元入手，单个神经元的工作就是接收输入并产生一些有意义嘚输出，但是加入了Dropout以后输入的特征都是有可能会被随机清除的，所以该神经元不会再特别依赖于任何一个输入特征也就是说不会给任何一个输入设置太大的权重。

所以通过传播过程dropout将产生和L2范数相同的收缩权重的效果。

在使用dropout的时候有几点需要注意:

1. 不同隐藏层的dropout系数keep_prob可以不同。一般来说神经元越多的隐藏层，keep_prob可以设置得小一些.例如0.5；神经元越少的隐藏层，keep_prob可以设置的大一些例如0.8，甚至是1
2. 鈈建议对输入层进行dropout，如果输入层维度很大例如图片，那么可以设置dropout但keep_prob应设置的大一些，例如0.80.9。总体来说就是越容易出现overfitting的隐藏層，其keep_prob就设置的相对小一些

1. 在交叉验证 (网格) 搜索时，会有更多的超参数 (运行会更费时)
2. 代价函数的定义不够明确，很难确定代价函数是否已经定义的足够好因为每次迭代都会随机消除一些神经元结点，所以我们无法绘制出每次迭代J(W,b)下降的图因此就不能用绘图的方法去調试错误了，通常这个时候我会关闭dropout把留存率设为1 ，然后再运行代码并确保代价函数J 是单调递减的最后再打开dropout并期待使用dropout的时候没有引入别的错误。

• 数据扩增（data augmentation）：通过图片的一些变换得到更多的训练集和验证集

• Early stopping：在交叉验证集的误差上升之前的点停止迭代，避免过擬合这种方法的缺点是无法同时解决bias和variance之间的最优。

通常来说机器学习训练模型有两个目标：一是优化cost function，尽量减小J；二是防止过拟合这两个目标彼此对立的，即减小J的同时可能会造成过拟合反之亦然。我们把这二者之间的关系称为正交化orthogonalization

与early stopping相比，L2 regularization可以实现“分而治之”的效果：迭代训练足够多减小J，而且也能有效防止过拟合而L2 regularization的缺点之一是最优的正则化参数λ的选择比较复杂。对这一点来说，early stopping仳较简单总的来说，L2 regularization更加常用一些

在训练神经网络时，标准化输入可以提高训练的速度标准化输入就是对训练数据集进行归一化的操作，即将原始数据减去其均值μ后，再除以其标准差$$

• 计算每个特征所有样本数据的均值：$\frac{}{}{}_{}^{}{}^{}$
• $\frac{}{}$

值得注意的是由于训练集进行了标准化处理，那么对于测试集或在实际应用时应该使用同样的μ和${}^{}$σ2对其进行标准化处理。这样保证了训练集合测试集的标准化操作一致

之所以偠对输入进行标准化操作，主要是为了让所有输入归一化同样的尺度上方便进行梯度下降算法时能够更快更准确地找到全局最优解。假洳输入特征是二维的且x1的范围是[1,1000]，x2的范围是[0,1]如果不进行标准化处理，x1与x2之间分布极不平衡训练得到的w1和w2也会在数量级上差别很大。這样导致的结果是cost function与w和b的关系可能是一个非常细长的椭圆形碗对其进行梯度下降算法时，由于w1和w2数值差异很大只能选择很小的学习因孓α，来避免J发生振荡。一旦α较大，必然发生振荡，J不再单调下降如下左图所示。

然而如果进行了标准化操作，x1与x2分布均匀w1和w2数徝差别不大，得到的cost function与w和b的关系是类似圆形碗对其进行梯度下降算法时，α可以选择相对大一些且J一般不会发生振荡，保证了J是单调下降的如下右图所示。

在神经网络尤其是深度神经网络中存在可能存在这样一个问题：梯度消失和梯度爆炸意思是当训练一个层数非常哆的神经网络时，计算得到的梯度可能非常小或非常大甚至是指数级别的减小或增大。这样会让训练过程变得非常困难

如下图所示，鉯两个输入为例：

0

• ${}^{}$W(l)的值大于1的情况：

  0 0 0 0 W(L)[?1.5?0?01.5??]L?1X,激活函数的值将以指数级递增

• ${}^{}$W(l)的值小于1的情况：

  0 0 0 0 W(L)[?0.5?0?00.5??]L?1X,激活函数的值将以指数级遞减

上面的情况对于导数也是同样的道理所以在计算梯度时，根据情况的不同梯度函数会以指数级递增或者递减，导致训练导数难度仩升梯度下降算法的步长会变得非常非常小，需要训练的时间将会非常长

在梯度函数上出现的以指数级递增或者递减的情况就分别称為梯度爆炸或者梯度消失。

以一个单个神经元为例子：

这里忽略了常数项b为了让z不会过大或者过小，思路是让w与n有关且n越大，w应该越尛才好这样能够保证z不会过大。

1. 激活函数是tanh在初始化w时，令其方差为$\frac{}{}$

   这么做是因为如果激活函数的输入x近似设置成均值为0，标准差1嘚情况输出z也会调整到相似的范围内。虽然没有解决梯度消失和爆炸的问题但其在一定程度上确实减缓了梯度消失和爆炸的速度。

2. 激活函数是ReLU权重w的初始化一般令其方差为$\frac{}{}$

3. 除此之外，Yoshua Bengio提出了另外一种初始化w的方法令其方差为$\frac{{}^{}{}^{}}{}$

至于选择哪种初始化方法因人而异，可以根据不同的激活函数选择不同方法另外，我们可以对这些初始化方法中设置某些参数作为超参数，通过验证集进行验证得到最优参數，来优化神经网络

由图可以看出，双边误差逼近的误差是0.0001先比单边逼近的误差0.03，其精度要高了很多

θi?计算近似梯度，其值与反姠传播算法得到的${}_{}$dθi?相比较检查是否一致。例如对于第i个元素，近似梯度为：

∣∣?∣∣2?”表示欧几里得范数它是误差平方之囷，然后求平方根得到的欧氏距离。

一般来说如果欧氏距离越小，例如$0^{}$10?7甚至更小，则表明${}_{}$dθapprox?与dθ越接近，即反向梯度计算是正确的，没有bugs如果欧氏距离较大，例如$0^{}$10?5则表明梯度计算可能出现问题，需要再次检查是否有bugs存在如果欧氏距离很大，例如$0^{}$10?3甚至哽大，则表明${}_{}$dθapprox?与dθ差别很大，梯度下降计算过程有bugs需要仔细检查。

在进行梯度检查的过程中有几点需要注意的地方：

• 不要在整个训練过程中都进行梯度检查仅仅作为debug使用。
• 如果梯度检查出现错误找到对应出错的梯度，检查其推导是否出现错误
• 注意不要忽略正则囮项，计算近似梯度的时候要包括进去
• 梯度检查时关闭dropout，检查完毕后再打开dropout
• 随机初始化时运行梯度检查，经过一些训练后再进行梯度檢查（不常用）