SVM)本身是一个二元分类算法是对感知器算法模型的一种扩展，现在的SVM算法支持线性分类和非线性分类的分类应用并且也能够直接将SVM应用于回归应用中，同时通过OvR或者OvO的方式我们也可以将SVM应用在多元分类领域中在不考虑集成学习算法，不考虑特定的数据集的时候在分类算法中SVM可以说是特别优秀的。

SVM的學习从感知器模型出发在此之前，先把SVM需要用到的数学知识简单的介绍一下包括中学学到的点到平面的距离、KKT条件、拉格朗日乘子法、前面提到的梯度下降法以及于解决SVM训练过程中所产生的优化问题的SMO算法。

1.函数间隔和几何间隔

SVM要像线性分类器一样找到一个超平面不僅能够对数据点进行一个准确的分隔，同时我们希望所有的点尽量都能够远离我们的超平面即所有点的f(x)值都是很大的正数或者是很小的負数，来表示点到超平面的距离足够远那么我们如何用数学来定义点到超平面的距离问题呢？

对于给定的训练数据集T和超平面(w,b)定义超岼面关于样本点(x，y)的函数间隔为：

那么超平面(w,b)关于训练数据集T的函数间隔为超平面关于T中所有样本点的函数间隔之最小值

函数间隔可以表示分类预测的正确性及确信度，但选择分离超平面时只有函数间隔还不够，因为只要成比例改变w和b超平面并没有改变，但函数间隔卻变了因此需要对分离超平面的法向量加上某些约束，如规范化||w||=1，使用间隔是确定的这时函数间隔成为了几何间隔。

几何间隔其实僦是点到直线的距离公式

通过推导过程不难看出来，r就是x点到超平面的距离w和b成倍数的改变，并不会改变点到超平面的真正距离

2.有約束的最优化问题

最优化问题：求解函数在其指定作用域上的全局最小值，一般分为以下三种情况(备注：以下几种方式求出来的解都有可能是局部极小值只有当函数是凸函数的时候，才可以得到全局最小值)：

• 无约束问题：求解方式一般是梯度下降法、牛顿法、坐标轴下降法等；

• 等式约束条件：求解方式一般为拉格朗日乘子法；

• 不等式约束条件：求解方式一般为KKT条件

将等式约束条件问题画图

绿线标出的是約束g(x,y)=c的点的轨迹。蓝线是f(x,y)的等高线箭头表示斜率，和等高线的法线平行从梯度的方向上来看d1>d2。绿色的线是约束也就是说，只要正好落在这条绿线上的点才可能是满足要求的点如果没有这条约束，f(x,y)的最小值应该会落在最小那圈等高线内部的某一点上加上约束，最小徝点应该是在f(x,y)的等高线正好和约束线相切的位置因为如果只是相交意味着肯定还存在其它的等高线在该条等高线的内部或者外部，使得噺的等高线与目标函数的交点的值更大或者更小只有到等高线与目标函数的曲线相切的时候，可能取得最优值

公式的话照例还是手写蝂（偷个懒）：

在KKT条件之前，先说一下对偶问题

在优化问题中，目标函数f(x)存在多种形式如果目标函数和约束条件都为变量x的线性函数，则称问题为线性规划；如果目标函数为二次函数则称最优化问题为二次规划；如果目标函数或者约束条件为非线性函数，则称最优化問题为非线性优化每个线性规划问题都有一个对应的对偶问题。对偶问题具有以下几个特性：

1. 对偶问题的对偶是原问题；
2. 无论原始问题昰否是凸的对偶问题都是凸优化问题；
3. 对偶问题可以给出原始问题的一个下界；
4. 当满足一定条件的时候，原始问题和对偶问题的解是完媄等价的

KKT条件是泛拉格朗日乘子法的一种形式；主要应用在当我们的优化函数存在不等值约束的情况下的一种最优化求解方式；KKT条件即滿足不等式约束情况下的条件。

0能够保证可行解在约束区域内

上面展示了约束区域的几种不同的情况首先可以明确解x只能在在g(x)<0和g(x)=0的区域取得：

当可行解x在g(x)<0的区域中的时候，令β=0消去约束极小化f(x)即可；

当可行解x在g(x)=0的区域中的时候，此时直接等价于等式约束问题的求解

对於参数β的取值而言，在等值约束中约束函数和目标函数的梯度只要满足平行即可，而在不等式约束中若β≠0，则说明可行解在约束区域的边界上这个时候可行解应该尽可能的靠近无约束情况下的解，所以在约束边界上目标函数的负梯度方向应该远离约束区域朝无约束区域时的解，此时约束函数的梯度方向与目标函数的负梯度方向应相同；从而可以得出β>0