机器学习——凸优化与KKT条件(2)

接着上一期的内容讲,关于对偶函数的单向箭头,这里就涉及到凸优化的问题了。


(资料图)

首先是凸集的概念,如下所示,在区域内任意选择两点相连接,当这条线段上的任意点都位于区域内时,这个集合就被称作为凸集。仿射集是凸集,两个凸集相交也一定是凸集。一般约束条件所定义的半空间也是凸集。

凸函数和凹函数所围成的空间区域都是凸集。

对于拉格朗日乘数法的对偶函数g,通过求L对x的偏导数,令其等于零,找到x=x*为极值点,带入对偶函数g中去,得到的式子λ和v的系数均是常数,是一个关于λ和v的线性函数式,一条直线可以被认为是凸函数或者凹函数均可。

目标函数满足凸函数或者凹函数的定义,然后对偶函数g的条件区域式λ大于0,v没有范围要求,这是一个标准的半空间,也就是一个凸集,满足了这两个要求的最值问题就是凸优化问题。

这也就说明,无论原问题函数是不是构成凸优化问题,对偶问题是一定满足凸优化条件的。

注意这里的max和min都是在满足某一个条件下,拉格朗日函数L的最值,比如说在x固定的前提下,通过变化λ和v来确定一个最大值式子,只有最后带入了某一个x的值才能得到一个确切的值。

当这两个极值P*与D*不相等时,则称这个问题是一个弱对偶关系,也就是只能单向箭头。

当极值P*和D*相等时,则称这是一个强对偶问题,互相等价。

当一个凸优化问题满足了slater条件时,就构成强对偶问题。slater条件就是存在一个可行域内部的点使得fi(x)小于0就行了。一般情况下都满足,正常使用就可以了。

这个是构成强对偶问题的五个必要条件,一般就认为满足了这五个条件就可以构成强对偶关系。原函数的约束条件,对偶函数的约束条件,互补松弛条件,其中λ的取值问题在上一篇文章中有提到,在这里就不做多的解释了。

标签:

X
X

Copyright ©  2015-2022 大众信息网版权所有  备案号:豫ICP备20014643号-14   联系邮箱: 905 14 41 07@qq.com