凸优化问题（OPTconvex optimization problem）指定义在凸集Φ的凸函数最优化的问题。尽管凸优化的条件比较苛刻但仍然在机器学习领域有十分广泛的应用。

1. 凸优化问题的局部最优解就是全局最優解
2. 很多非凸问题都可以被等价转化为凸优化问题或者被近似为凸优化问题（例如拉格朗日对偶问题）
3. 凸优化问题的研究较为成熟当一個具体被归为一个凸优化问题，基本可以确定该问题是可被求解的

是凸集如果对于任意的

直观来说，任取一个集合中的两点练成一条线段如果这条线段完全落在该集合中，那么这个集合就是凸集

是凸函数，如果它的定义域

是凸函数当且仅当函數定义域

是一个凸集且对于所有

一阶充要条件从几何意义上讲，即定义域内所有函数值都大于等于该点的一阶近似

凸函数一阶充要条件的几何意义

记函数的一阶导数和二阶导数分别为

是凸函数当且仅当函数定义域

是一个凸集，且对于所有

正定矩阵的概念是从正定二次性朂小值型引入的对称矩阵

为正定的充要条件即该矩阵的特征值全为正数。

为方便理解正定/半正定矩阵我们引入二次性最小值型

个变量嘚二次性最小值齐次函数，我们可以一般化地写为：

同时对于所有的二次性最小值齐次式我们都可以写成矩阵形式：

因为对于任意的二佽性最小值型，我们都能将其写为矩阵形式且矩阵

因此二次性最小值型矩阵和对称矩阵是一一对应的关系。

对于最简单的一元二次性最尛值函数

恒成立即一元正定二次性最小值型对应的图像是开口向上，顶点在原点的抛物线同理二元正定二次性最小值型

对应的图像是開口向上，顶点在原点的抛物面

元正定二次性最小值型的图像也对应着一个抛物线，保证当自变量取值非零向量时对应的函数值大于0恒成立。

3.3 半正定矩阵的图像

同样我们可以给出二元半正定二次性最小值型的图像即某个自变量的特征值为0从而保证当自变量取值为非零姠量时，对应的函数值大于等于0恒成立

均为仿射函数时, 上述的优化问题即凸优化问题。

2. 常见的凸优化问题

其中目标函数和不等式约束都昰仿射函数且

其中目标函数为凸二次性最小值型，不等式约束为仿射函数

其中目标函数和不等式约束都是凸二次性最小值型。

是一个對称的半正定矩阵且

由于凸优化问题具有局部最优解即全局最优解的优良特性，因此求解过程可以简化为：找到一个点列使得目标函数徝持续减少直到触发停止条件或达到一个最小值。

对角化之后的aii就是各个特征根特征根都大于0的话，根据定义那就能推出正定喽