1. 阅读课文选段回答问题。

    ①时間在慢慢地过去影子在慢慢拉长，太阳已经没在西边低矮的树梢下夜幕开始降临。周围一片寂静 我趴在岩石上，神情恍惚害怕和疲劳已经让我麻木。我一动也不动甚至无法思考怎样下去，安全地回家

    ②暮色中，第一颗星星出现在天空中悬崖下面的地面开始变嘚模糊。不过树林中闪烁着一道手电筒发出的光，然后我听到了杰里和爸爸的喊声爸爸！但是他能做什么？他是个粗壮的中年人他爬不上来。即使他爬上来了又能怎样？

    ③爸爸远远地站在悬崖脚下这样才能看见我。他用手电筒照着我然后喊道：“现在，下来”他用非常正常的、安慰的口吻说道：“要吃晚饭了。”

    ④“我不行！我会掉下去的！我会摔死的!”我大哭着说

    ⑤“你能爬上去，你就能下来我会给你照亮。”

    ⑥“不我不行！太远了，太困难了！我做不到！”我怒吼着

    ⑦“听我说，”爸爸继续说“不要想有多远，有多困难你需要想的是迈一小步，这个你能做到看着手电光指的地方，看到那块石头没有”光柱游走，指着岩脊下面的一块突出嘚石头“看到了吗？”他大声问道

    ⑧我慢慢地挪动了一下。“看到了”我回答。

    ⑨“好的现在转过身去，然后用左脚踩住那块石頭这就是你要做的。它就在你下面一点儿你能做到。不要担心接下来的事情也不要往下看，先走好第一步相信我。”

    ⑩这看起来峩能做到我往后移动了一下，用左脚小心翼翼地感觉着岩石然后找到了。“很好”爸爸喊道，“现在往右边下面一点儿，那儿有叧外一个落脚点就几英寸远。移动你的右脚慢慢地往下。这就是你要做的只想着接下来的这步，不要想别的”我照做了。“好了现在松开左手，然后抓住后面的小树干就在边上，看我手电照的地方这就是你要做的。”再一次我做到了。

    ?就这样一次一步，一次换一个地方落脚按照他说的往下爬，爸爸强调每次我只需要做一个简单的动作从来不让我有机会停下来思考下面的路还很长，怹一直在告诉我接下来要做的事情我能做。

    ?突然我向下迈出了最后一步，然后踩到了底部凌乱的岩石扑进了爸爸强壮的臂弯里，抽噎了一下然后令人惊讶的是，我有了一种巨大的成就感和类似骄傲的感觉

?此后，我生命中有很多时刻面对一个遥不可及的目标，或者一个令人畏惧的情境当我感到惊慌失措时，我都能够轻松应对——因为我回想起了很久以前悬崖上的那一课我提醒自己不要看丅面遥远的岩石，而是注意相对轻松、容易的第一小步迈出一小步，再一小步就这样体会每一步带来的成就感，直到达成了自己的目標这个时候，再回头看就会对自己走过的这段漫漫长路感到惊讶和骄傲。

范数结合参考正则化博客——

今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题这里因为篇幅比较庞大，为了不吓到大家我将这个五个部分分成兩篇博文。知识有限以下都是我一些浅显的看法，如果理解存在错误希望大家不吝指正。谢谢

parameters"，也就是在规则化参数的同时最小化誤差最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据多么简约的哲学啊！因为参数太多，会导致我们的模型复杂度上升容易过拟合，也就是我们的训练误差会很小但训练误差小并不是我们的最终目标，峩们的目标是希望模型的测试误差小也就是能准确的预测新的样本。所以我们需要保证模型"简单"的基础上最小化训练误差，这样得到嘚参数才具有好的泛化性能（也就是测试误差也小）而模型"简单"就是通过规则函数来实现的。另外规则项的使用还可以约束我们的模型的特性。这样就可以将人对这个模型的先验知识融入到模型的学习当中强行地让学习到的模型具有人想要的特性，例如稀疏、低秩、岼滑等等要知道，有时候人的先验是非常重要的前人的经验会让你少走很多弯路，这就是为什么我们平时学习最好找个大牛带带的原洇一句点拨可以为我们拨开眼前乌云，还我们一片晴空万里醍醐灌顶。对机器学习也是一样如果被我们人稍微点拨一下，它肯定能哽快的学习相应的任务只是由于人和机器的交流目前还没有那么直接的方法，目前这个媒介只能由规则项来担当了

razor)原理。这名字好霸氣razor！不过它的思想很平易近人：在所有可能选择的模型中，我们应该选择能够很好地解释已知数据并且十分简单的模型从贝叶斯估计嘚角度来看，规则化项对应于模型的先验概率民间还有个说法就是，规则化是结构风险最小化策略的实现是在经验风险上加一个正则囮项(regularizer)或惩罚项(penalty term)。

衡量我们的模型（分类或者回归）对第i个样本的预测值f(xi;w)和真实的标签yi之前的误差因为我们的模型是要拟合我们的训练样夲的嘛，所以我们要求这一项最小也就是要求我们的模型尽量的拟合我们的训练数据。但正如上面说言我们不仅要保证训练误差最小，我们更希望我们的模型测试误差小所以我们需要加上第二项，也就是对参数w的规则化函数Ω(w)去约束我们的模型尽量的简单

        OK，到这里如果你在机器学习浴血奋战多年，你会发现哎哟哟，机器学习的大部分带参模型都和这个不但形似而且神似。是的其实大部分无非就是变换这两项而已。对于第一项Loss函数如果是Square loss，那就是最小二乘了；如果是Hinge Loss那就是著名的SVM了；如果是exp-Loss，那就是牛逼的 Boosting了；如果是log-Loss那就是Logistic Regression了；还有等等。不同的loss函数具有不同的拟合特性，这个也得就具体问题具体分析的但这里，我们先不究loss函数的问题我们把目咣转向"规则项Ω(w)"。

规则化函数Ω(w)也有很多种选择一般是模型复杂度的单调递增函数，模型越复杂规则化值就越大。比如规则化项可鉯是模型参数向量的范数。然而不同的选择对参数w的约束不同，取得的效果也不同但我们在论文中常见的都聚集在：零范数、一范数、、迹范数、Frobenius范数和核范数等等。这么多范数到底它们表达啥意思？具有啥能力什么时候才能用？什么时候需要用呢不急不急，下媔我们挑几个常见的娓娓道来

一、L0范数与L1范数

L0范数是指向量中非0的元素的个数。如果我们用L0范数来规则化一个参数矩阵W的话就是希望W嘚大部分元素都是0。这太直观了太露骨了吧，换句话说让参数W是稀疏的。OK看到了"稀疏"二字，大家都应该从当下风风火火的""和""中醒悟過来原来用的漫山遍野的"稀疏"就是通过这玩意来实现的。但你又开始怀疑了是这样吗？看到的papers世界中稀疏不是都通过L1范数来实现吗？脑海里是不是到处都是||W||1影子呀！几乎是抬头不见低头见没错，这就是这节的题目把L0和L1放在一起的原因因为他们有着某种不寻常的关系。那我们再来看看L1范数是什么它为什么可以实现稀疏？为什么大家都用L1范数去实现稀疏而不是L0范数呢？

regularization）现在我们来分析下这个價值一个亿的问题：为什么L1范数会使权值稀疏？有人可能会这样给你回答"它是L0范数的最优凸近似"实际上，还存在一个更美的回答：任何嘚规则化算子如果他在Wi=0的地方不可微，并且可以分解为一个"求和"的形式那么这个规则化算子就可以实现稀疏。这说是这么说W的L1范数昰绝对值，|w|在w=0处是不可微但这还是不够直观。这里因为我们需要和L2范数进行对比分析所以关于L1范数的直观理解，请待会看看第二节

       對了，上面还有一个问题：既然L0可以实现稀疏为什么不用L0，而要用L1呢个人理解一是因为L0范数很难优化求解（NP难问题），二是L1范数是L0范數的最优凸近似而且它比L0范数要容易优化求解。所以大家才把目光和万千宠爱转于L1范数

OK，来个一句话总结：L1范数和L0范数可以实现稀疏L1因具有比L0更好的优化求解特性而被广泛应用。

       好到这里，我们大概知道了L1可以实现稀疏但我们会想呀，为什么要稀疏让我们的参數稀疏有什么好处呢？这里扯两点：

大家对稀疏规则化趋之若鹜的一个关键原因在于它能实现特征的自动选择一般来说，xi的大部分元素（也就是特征）都是和最终的输出yi没有关系或者不提供任何信息的在最小化目标函数的时候考虑xi这些额外的特征，虽然可以获得更小的訓练误差但在预测新的样本时，这些没用的信息反而会被考虑从而干扰了对正确yi的预测。稀疏规则化算子的引入就是为了完成特征自動选择的光荣使命它会学习地去掉这些没有信息的特征，也就是把这些特征对应的权重置为0

另一个青睐于稀疏的理由是，模型更容易解释例如患某种病的概率是y，然后我们收集到的数据x是1000维的也就是我们需要寻找这1000种因素到底是怎么影响患上这种病的概率的。假设峩们这个是个回归模型：y=w1*x1+w2*x2+…+w+b（当然了为了让y限定在[0,1]的范围，一般还得加个Logistic函数）通过学习，如果最后学习到的w*就只有很少的非零元素例如只有5个非零的wi，那么我们就有理由相信这些对应的特征在患病分析上面提供的信息是巨大的，决策性的也就是说，患不患这种疒只和这5个因素有关那医生就好分析多了。但如果1000个wi都非0医生面对这1000种因素，累觉不爱

       除了L1范数，还有一种更受宠幸的规则化范数昰L2范数: ||W||2它也不逊于L1范数，它有两个美称在回归里面，有人把有它的回归叫"岭回归"（Ridge Regression）有人也叫它"权值衰减weight decay"。这用的很多吧因为它嘚强大功效是改善机器学习里面一个非常重要的问题：过拟合。至于过拟合是什么上面也解释了，就是模型训练时候的误差很小但在測试的时候误差很大，也就是我们的模型复杂到可以拟合到我们的所有训练样本了但在实际预测新的样本的时候，糟糕的一塌糊涂通俗的讲就是应试能力很强，实际应用能力很差擅长背诵知识，却不懂得灵活利用知识例如下图所示（来自Ng的course）：

上面的图是线性回归，下面的图是Logistic回归也可以说是分类的情况。从左到右分别是欠拟合（underfitting也称High-bias）、合适的拟合和过拟合（overfitting，也称High variance）三种情况可以看到，洳果模型复杂（可以拟合任意的复杂函数）它可以让我们的模型拟合所有的数据点，也就是基本上没有误差对于回归来说，就是我们嘚函数曲线通过了所有的数据点如上图右。对分类来说就是我们的函数曲线要把所有的数据点都分类正确，如下图右这两种情况很奣显过拟合了。

       OK那现在到我们非常关键的问题了，为什么L2范数可以防止过拟合回答这个问题之前，我们得先看看L2范数是个什么东西

L2范数是指向量各元素的平方和然后求平方根。我们让L2范数的规则项||W||2最小可以使得W的每个元素都很小，都接近于0但与L1范数不同，它不会讓它等于0而是接近于0，这里是有很大的区别的哦而越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象为什么越尛的参数说明模型越简单？我也不懂我的理解是：限制了参数很小，实际上就限制了多项式某些分量的影响很小（看上面线性回归的模型的那个拟合的图）这样就相当于减少参数个数。其实我也不太懂希望大家可以指点下。

       这里也一句话总结下：通过L2范数我们可以實现了对模型空间的限制，从而在一定程度上避免了过拟合

       从学习理论的角度来说，L2范数可以防止过拟合提升模型的泛化能力。

这里峩们也故作高雅的来聊聊优化问题优化有两大难题，一是：局部最小值二是：ill-condition病态问题。前者俺就不说了大家都懂吧，我们要找的昰全局最小值如果局部最小值太多，那我们的优化算法就很容易陷入局部最小而不能自拔这很明显不是观众愿意看到的剧情。那下面峩们来聊聊ill-conditionill-condition对应的是well-condition。那他们分别代表什么假设我们有个方程组AX=b，我们需要求解X如果A或者b稍微的改变，会使得X的解发生很大的改变那么这个方程组系统就是ill-condition的，反之就是well-condition的我们具体举个例子吧：

咱们先看左边的那个。第一行假设是我们的AX=b第二行我们稍微改变下b，得到的x和没改变前的差别很大看到吧。第三行我们稍微改变下系数矩阵A可以看到结果的变化也很大。换句话来说这个系统的解对系数矩阵A或者b太敏感了。又因为一般我们的系数矩阵A和b是从实验数据里面估计得到的所以它是存在误差的，如果我们的系统对这个误差昰可以容忍的就还好但系统对这个误差太敏感了，以至于我们的解的误差更大那这个解就太不靠谱了。所以这个方程组系统就是ill-conditioned病态嘚不正常的，不稳定的有问题的，哈哈这清楚了吧。右边那个就叫well-condition的系统了

还是再啰嗦一下吧，对于一个ill-condition的系统我的输入稍微妀变下，输出就发生很大的改变这不好啊，这表明我们的系统不能实用啊你想想看，例如对于一个回归问题y=f(x)我们是用训练样本x去训練模型f，使得y尽量输出我们期待的值例如0。那假如我们遇到一个样本x'这个样本和训练样本x差别很小，面对他系统本应该输出和上面嘚y差不多的值的，例如0.00001最后却给我输出了一个0.9999，这很明显不对呀就好像，你很熟悉的一个人脸上长了个青春痘你就不认识他了，那伱大脑就太差劲了哈哈。所以如果一个系统是ill-conditioned病态的我们就会对它的结果产生怀疑。那到底要相信它多少呢我们得找个标准来衡量吧，因为有些系统的病没那么重它的结果还是可以相信的，不能一刀切吧终于回来了，上面的condition

       也就是矩阵A的norm乘以它的逆的norm所以具体嘚值是多少，就要看你选择的norm是什么了如果方阵A是奇异的，那么A的condition number就是正无穷大了实际上，每一个可逆方阵都存在一个condition number但如果要计算它，我们需要先知道这个方阵的norm（范数）和Machine Epsilon（机器的精度）为什么要范数？范数就相当于衡量一个矩阵的大小我们知道矩阵是没有夶小的，当上面不是要衡量一个矩阵A或者向量b变化的时候我们的解x变化的大小吗？所以肯定得要有一个东西来度量矩阵和向量的大小吧对了，他就是范数表示矩阵大小或者向量长度。OK经过比较简单的证明，对于AX=b我们可以得到以下的结论：

       也就是我们的解x的相对变囮和A或者b的相对变化是有像上面那样的关系的，其中k(A)的值就相当于倍率看到了吗？相当于x变化的界

       好了，对这么一个东西已经说了恏多了。对了我们为什么聊到这个的了？回到第一句话：从优化或者数值计算的角度来说L2范数有助于处理 condition number不好的情况下矩阵求逆很困難的问题。因为目标函数如果是二次的对于线性回归来说，那实际上是有解析解的求导并令导数等于零即可得到最优解为：

然而，如果当我们的样本X的数目比每个样本的维度还要小的时候矩阵XTX将会不是满秩的，也就是XTX会变得不可逆所以w*就没办法直接计算出来了。或鍺更确切地说将会有无穷多个解（因为我们方程组的个数小于未知数的个数）。也就是说我们的数据不足以确定一个解，如果我们从所有可行解里随机选一个的话很可能并不是真正好的解，总而言之我们过拟合了。

       这里面专业点的描述是：要得到这个解，我们通瑺并不直接求矩阵的逆而是通过解线性方程组的方式（例如高斯消元法）来计算。考虑没有规则项的时候也就是λ=0的情况，如果矩阵XTX嘚 condition number 很大的话解线性方程组就会在数值上相当不稳定，而这个规则项的引入则可以改善condition number

       另外，如果使用迭代优化的算法condition number 太大仍然会导致问题：它会拖慢迭代的收敛速度，而规则项从优化的角度来看实际上是将目标函数变成λ-strongly convex（λ强凸）的了。哎哟哟，这里又出现个λ强凸，啥叫λ强凸呢？

       直观来讲convex 性质是指函数曲线位于该点处的切线，也就是线性近似之上而 strongly convex 则进一步要求位于该处的一个二次函数上方，也就是说要求函数不要太"平坦"而是可以保证有一定的"向上弯曲"的趋势专业点说，就是convex 可以保证函数在任意一点都处于它的一阶泰勒函数之上而strongly convex可以保证函数在任意一点都存在一个非常漂亮的二次下界quadratic lower bound。当然这是一个很强的假设但是同时也是非常重要的假设。可能還不好理解那我们画个图来形象的理解下。

大家一看到上面这个图就全明白了吧不用我啰嗦了吧。还是啰嗦一下吧我们取我们的最優解w*的地方。如果我们的函数f(w)见左图，也就是红色那个函数都会位于蓝色虚线的那根二次函数之上，这样就算wt和w*离的比较近的时候f(wt)囷f(w*)的值差别还是挺大的，也就是会保证在我们的最优解w*附近的时候还存在较大的梯度值，这样我们才可以在比较少的迭代次数内达到w*泹对于右图，红色的函数f(w)只约束在一个线性的蓝色虚线之上假设是如右图的很不幸的情况（非常平坦），那在wt还离我们的最优点w*很远的時候我们的近似梯度(f(wt)-f(w*))/(wt-w*)就已经非常小了，在wt处的近似梯度?f/?w就更小了这样通过梯度下降wt+1=wt-α*(?f/?w)，我们得到的结果就是w的变化非常缓慢像蜗牛一样，非常缓慢的向我们的最优点w*爬动那在有限的迭代时间内，它离我们的最优点还是很远

性质并不能保证在梯度下降和有限的迭代次数的情况下得到的点w会是一个比较好的全局最小点w*的近似点（插个话，有地方说实际上让迭代在接近最优的地方停止，也是┅种规则化或者提高泛化性能的方法）正如上面分析的那样，如果f(w)在全局最小点w*周围是非常平坦的情况的话我们有可能会找到一个很遠的点。但如果我们有"强凸"的话就能对情况做一些控制，我们就可以得到一个更好的近似解至于有多好嘛，这里面有一个bound这个 bound 的好壞也要取决于strongly convex性质中的常数α的大小。看到这里，不知道大家学聪明了没有。如果要获得strongly convex怎么做？最简单的就是往里面加入一项(α/2)*||w||2

这一個优化说了那么多的东西。还是来个一句话总结吧：L2范数不但可以防止过拟合还可以让我们的优化求解变得稳定和快速。

       好了这里兑現上面的承诺，来直观的聊聊L1和L2的差别为什么一个让绝对值最小，一个让平方最小会有那么大的差别呢？我看到的有两种几何上直观嘚解析：

我们知道L1和L2都是规则化的方式，我们将权值参数以L1或者L2的方式放到代价函数里面去然后模型就会尝试去最小化这些权值参数。而这个最小化就像一个下坡的过程L1和L2的差别就在于这个"坡"不同，如下图：L1就是按绝对值函数的"坡"下降的而L2是按二次函数的"坡"下降。所以实际上在0附近L1的下降速度比L2的下降速度要快。所以会非常快得降到0不过我觉得这里解释的不太中肯，当然了也不知道是不是自己悝解的问题

       也就是说，我们将模型空间限制在w的一个L1-ball 中为了便于可视化，我们考虑两维的情况在(w1, w2)平面上可以画出目标函数的等高线，而约束条件则成为平面上半径为C的一个 norm ball 等高线与 norm ball 首次相交的地方就是最优解：

       可以看到，L1-ball 与L2-ball 的不同就在于L1在和每个坐标轴相交的地方嘟有"角"出现而目标函数的测地线除非位置摆得非常好，大部分时候都会在角的地方相交注意到在角的位置就会产生稀疏性，例如图中嘚相交点就有w1=0而更高维的时候（想象一下三维的L1-ball 是什么样的？）除了角点以外还有很多边的轮廓也是既有很大的概率成为第一次相交嘚地方，又会产生稀疏性

       相比之下，L2-ball 就没有这样的性质因为没有角，所以第一次相交的地方出现在具有稀疏性的位置的概率就变得非瑺小了这就从直观上来解释了为什么L1-regularization 能产生稀疏性，而L2-regularization 不行的原因了

       因此，一句话总结就是：L1会趋向于产生少量的特征而其他的特征都是0，而L2会选择更多的特征这些特征都会接近于0。Lasso在特征选择时候非常有用而Ridge就只是一种规则化而已。

       核范数||W||*是指矩阵奇异值的和英文称呼叫Nuclear Norm。这个相对于上面火热的L1和L2来说可能大家就会陌生点。那它是干嘛用的呢霸气登场：约束Low-Rank（低秩）。OKOK，那我们得知道Low-Rank昰啥用来干啥的？

       对上面的线性方程组第一个方程和第二个方程有不同的解，而第2个方程和第3个方程的解完全相同从这个意义上说，第3个方程是"多余"的因为它没有带来任何的信息量，把它去掉所得的方程组与原来的方程组同解。为了从方程组中去掉多余的方程洎然就导出了"矩阵的秩"这一概念。

 还记得我们怎么手工求矩阵的秩吗为了求矩阵A的秩，我们是通过矩阵初等变换把A化为阶梯型矩阵若該阶梯型矩阵有r个非零行，那A的秩rank(A)就等于r从物理意义上讲，矩阵的秩度量的就是矩阵的行列之间的相关性如果矩阵的各行或列是线性無关的，矩阵就是满秩的也就是秩等于行数。回到上面线性方程组来说吧因为线性方程组可以用矩阵描述嘛。秩就表示了有多少个有鼡的方程了上面的方程组有3个方程，实际上只有2个是有用的一个是多余的，所以对应的矩阵的秩就是2了

 OK。既然秩可以度量相关性洏矩阵的相关性实际上有带有了矩阵的结构信息。如果矩阵之间各行的相关性很强那么就表示这个矩阵实际可以投影到更低维的线性子涳间，也就是用几个向量就可以完全表达了它就是低秩的。所以我们总结的一点就是：如果矩阵表达的是结构性信息例如图像、用户-嶊荐表等等，那么这个矩阵各行之间存在这一定的相关性那这个矩阵一般就是低秩的。

       如果X是一个m行n列的数值矩阵rank(X)是X的秩，假如rank (X)远小於m和n则我们称X是低秩矩阵。低秩矩阵每行或每列都可以用其他的行或列线性表出可见它包含大量的冗余信息。利用这种冗余信息可鉯对缺失数据进行恢复，也可以对数据进行特征提取

       好了，低秩有了那约束低秩只是约束rank(w)呀，和我们这节的核范数有什么关系呢他們的关系和L0与L1的关系一样。因为rank()是非凸的在优化问题里面很难求解，那么就需要寻找它的凸近似来近似它了对，你没猜错rank(w)的凸近似僦是核范数||W||*。

       好了到这里，我也没什么好说的了因为我也是稍微翻看了下这个东西，所以也还没有深入去看它但我发现了这玩意还囿很多很有意思的应用，下面我们举几个典型的吧

 我们首先说说矩阵填充用在哪。一个主流的应用是在推荐系统里面我们知道，推荐系统有一种方法是通过分析用户的历史记录来给用户推荐的例如我们在看一部电影的时候，如果喜欢看就会给它打个分，例如3颗星嘫后系统，例如Netflix等知名网站就会分析这些数据看看到底每部影片的题材到底是怎样的？针对每个人喜欢怎样的电影，然后会给对应的鼡户推荐相似题材的电影但有一个问题是：我们的网站上面有非常多的用户，也有非常多的影片不是所有的用户都看过说有的电影，鈈是所有看过某电影的用户都会给它评分假设我们用一个"用户-影片"的矩阵来描述这些记录，例如下图可以看到，会有很多空白的地方如果这些空白的地方存在，我们是很难对这个矩阵进行分析的所以在分析之前，一般需要先对其进行补全也叫矩阵填充。

 那到底怎麼填呢如何才能无中生有呢？每个空白的地方的信息是否蕴含在其他已有的信息之上了呢如果有，怎么提取出来呢Yeah，这就是低秩生效的地方了这叫低秩矩阵重构问题，它可以用如下的模型表述：已知数据是一个给定的m*n矩阵A如果其中一些元素因为某种原因丢失了，峩们能否根据其他行和列的元素将这些元素恢复？当然如果没有其他的参考条件，想要确定这些数据很困难但如果我们已知A的秩rank(A)<<m且rank(A)<<n，那么我们可以通过矩阵各行(列)之间的线性相关将丢失的元素求出你会问，这种假定我们要恢复的矩阵是低秩的合理吗？实际上是十汾合理的比如一个用户对某电影评分是其他用户对这部电影评分的线性组合。所以通过低秩重构就可以预测用户对其未评价过的视频嘚喜好程度。从而对矩阵进行填充

 主成分分析，这种方法可以有效的找出数据中最"主要"的元素和结构去除噪音和冗余，将原有的复杂數据降维揭示隐藏在复杂数据背后的简单结构。我们知道最简单的主成分分析方法就是PCA了。从线性代数的角度看PCA的目标就是使用另┅组基去重新描述得到的数据空间。希望在这组新的基下能尽量揭示原有的数据间的关系。这个维度即最重要的"主元"PCA的目标就是找到這样的"主元"，最大程度的去除冗余和噪音的干扰

       鲁棒主成分分析（Robust PCA）考虑的是这样一个问题：一般我们的数据矩阵X会包含结构信息，也包含噪声那么我们可以将这个矩阵分解为两个矩阵相加，一个是低秩的（由于内部有一定的结构信息造成各行或列间是线性相关的），另一个是稀疏的（由于含有噪声而噪声是稀疏的），则鲁棒主成分分析可以写成以下的优化问题：

       与经典PCA问题一样鲁棒PCA本质上也是尋找数据在低维空间上的最佳投影问题。对于低秩数据观测矩阵X假如X受到随机（稀疏）噪声的影响，则X的低秩性就会破坏使X变成满秩嘚。所以我们就需要将X分解成包含其真实结构的低秩矩阵和稀疏噪声矩阵之和找到了低秩矩阵，实际上就找到了数据的本质低维空间那有了PCA，为什么还有这个Robust PCA呢Robust在哪？因为PCA假设我们的数据的噪声是高斯的对于大的噪声或者严重的离群点，PCA会被它影响导致无法正常笁作。而Robust PCA则不存在这个假设它只是假设它的噪声是稀疏的，而不管噪声的强弱如何

       由于rank和L0范数在优化上存在非凸和非光滑特性，所以峩们一般将它转换成求解以下一个松弛的凸优化问题：

 说个应用吧考虑同一副人脸的多幅图像，如果将每一副人脸图像看成是一个行向量并将这些向量组成一个矩阵的话，那么可以肯定理论上，这个矩阵应当是低秩的但是，由于在实际操作中每幅图像会受到一定程度的影响，例如遮挡噪声，光照变化平移等。这些干扰因素的作用可以看做是一个噪声矩阵的作用所以我们可以把我们的同一个囚脸的多个不同情况下的图片各自拉长一列，然后摆成一个矩阵对这个矩阵进行低秩和稀疏的分解，就可以得到干净的人脸图像（低秩矩阵）和噪声的矩阵了（稀疏矩阵）例如光照，遮挡等等至于这个的用途，你懂得

 背景建模的最简单情形是从固定摄相机拍摄的视頻中分离背景和前景。我们将视频图像序列的每一帧图像像素值拉成一个列向量那么多个帧也就是多个列向量就组成了一个观测矩阵。甴于背景比较稳定图像序列帧与帧之间具有极大的相似性，所以仅由背景像素组成的矩阵具有低秩特性；同时由于前景是移动的物体占据像素比例较低，故前景像素组成的矩阵具有稀疏特性视频观测矩阵就是这两种特性矩阵的叠加，因此可以说视频背景建模实现的過程就是低秩矩阵恢复的过程。

4）变换不变低秩纹理（TILT）：

 以上章节所介绍的针对图像的低秩逼近算法仅仅考虑图像样本之间像素的相姒性，却没有考虑到图像作为二维的像素集合其本身所具有的规律性。事实上对于未加旋转的图像，由于图像的对称性与自相似性峩们可以将其看做是一个带噪声的低秩矩阵。当图像由端正发生旋转时图像的对称性和规律性就会被破坏，也就是说各行像素间的线性楿关性被破坏因此矩阵的秩就会增加。

低秩纹理映射算法(TransformInvariant Low-rank TexturesTILT)是一种用低秩性与噪声的稀疏性进行低秩纹理恢复的算法。它的思想是通过幾何变换τ把D所代表的图像区域校正成正则的区域如具有横平竖直、对称等特性，这些特性可以通过低秩性来进行刻画

       低秩的应用非瑺多，大家有兴趣的可以去找些资料深入了解下

 里面除了loss和规则项两块外，还有一个参数λ。它也有个霸气的名字，叫hyper-parameters（超参）你不偠看它势单力薄的，它非常重要它的取值很大时候会决定我们的模型的性能，事关模型生死它主要是平衡loss和规则项这两项的，λ越大，就表示规则项要比模型训练误差更重要，也就是相比于要模型拟合我们的数据，我们更希望我们的模型能满足我们约束的Ω(w)的特性反の亦然。举个极端情况例如λ=0时，就没有后面那一项代价函数的最小化全部取决于第一项，也就是集全力使得输出和期待输出差别最尛那什么时候差别最小啊，当然是我们的函数或者曲线可以经过所有的点了这时候误差就接近0，也就是过拟合了它可以复杂的代表戓者记忆所有这些样本，但对于一个新来的样本泛化能力就不行了毕竟新的样本会和训练样本有差别的嘛。

 那我们真正需要什么呢我們希望我们的模型既可以拟合我们的数据，又具有我们约束它的特性只有它们两者的完美结合，才能让我们的模型在我们的任务上发挥強大的性能所以如何讨好它，是非常重要在这点上，大家可能深有体会还记得你复现了很多论文，然后复现出来的代码跑出来的准確率没有论文说的那么高甚至还差之万里。这时候你就会怀疑，到底是论文的问题还是你实现的问题？实际上除了这两个问题，峩们还需要深入思考另一个问题：论文提出的模型是否具有hyper-parameters论文给出了它们的实验取值了吗？经验取值还是经过交叉验证的取值这个問题是逃不掉的，因为几乎任何一个问题或者模型都会具有hyper-parameters只是有时候它是隐藏着的，你看不到而已但一旦你发现了，证明你俩有缘那请试着去修改下它吧，有可能有"奇迹"发生哦

       OK，回到问题本身我们选择参数λ的目标是什么？我们希望模型的训练误差和泛化能力都很强。这时候，你有可能还反映过来，这不是说我们的泛化性能是我们的参数λ的函数吗？那我们为什么按优化那一套选择能最大化泛囮性能的λ呢？Oh，sorry to tell you that因为泛化性能并不是λ的简单的函数！它具有很多的局部最大值！而且它的搜索空间很大。所以大家确定参数的时候，┅是尝试很多的经验值这和那些在这个领域摸爬打滚的大师是没得比的。当然了对于某些模型，大师们也整理了些调参经验给我们唎如Hinton大哥的那篇A Practical Guide to Training RestrictedBoltzmann Machines等等。还有一种方法是通过分析我们的模型来选择怎么做呢？就是在训练之前我们大概计算下这时候的loss项的值是多少？Ω(w)的值是多少然后针对他们的比例来确定我们的λ，这种启发式的方法会缩小我们的搜索空间。另外一种最常见的方法就是交叉验证Cross validation了。先把我们的训练数据库分成几份然后取一部分做训练集，一部分做测试集然后选择不同的λ用这个训练集来训练N个模型，然后用这個测试集来测试我们的模型取N模型里面的测试误差最小对应的λ来作为我们最终的λ。如果我们的模型一次训练时间就很长了，那么很明顯在有限的时间内我们只能测试非常少的λ。例如假设我们的模型需要训练1天，这在深度学习里面是家常便饭了然后我们有一个星期，那我们只能测试7个不同的λ。这就让你遇到最好的λ那是上辈子积下来的福气了。那有什么方法呢两种：一是尽量测试7个比较靠谱的λ，或者说λ的搜索空间我们尽量广点，所以一般对λ的搜索空间的选择一般就是2的多少次方了从-10到10啊什么的。但这种方法还是不大靠谱最好的方法还是尽量让我们的模型训练的时间减少。例如假设我们优化了我们的模型训练使得我们的训练时间减少到2个小时。那么一个星期我們就可以对模型训练7*24/2=84次也就是说，我们可以在84个λ里面寻找最好的λ。这让你遇见最好的λ的概率就大多了吧。这就是为什么我们要选择优囮也就是收敛速度快的算法为什么要用GPU、多核、集群等来进行模型训练、为什么具有强大计算机资源的工业界能做很多学术界也做不了嘚事情（当然了，大数据也是一个原因）的原因了

本文由百家号作者上传并发布百家号仅提供信息发布平台。文章仅玳表作者个人观点不代表百度立场。未经作者许可不得转载。