0. 序最近在看算法时看到一个大佬写的一个关于拉格朗日对偶问题的博客,非常不错,所以转载一下。原出处: 作者:博客园-90Zeng1.原始问题假设 f(
＋▂＋
在学习最大熵模型中我们看到,需要求解满足所有已知条件并且使得熵最大的模型,也就是求解问题带约束的极值问题,其解决方法一般采用拉格朗日对偶原理。下面简单介绍拉格
zai xue xi zui da shang mo xing zhong wo men kan dao , xu yao qiu jie man zu suo you yi zhi tiao jian bing qie shi de shang zui da de mo xing , ye jiu shi qiu jie wen ti dai yue shu de ji zhi wen ti , qi jie jue fang fa yi ban cai yong la ge lang ri dui ou yuan li 。 xia mian jian dan jie shao la ge . . .
为何要研究对偶问题?我自己的理解是对偶问题比原始问题更容易解,容易在哪里?可以看到对偶问题外层的优化目标参数是拉格朗日参数,然后通过求得的拉格朗日参数,间接得到
因为假设其连续可微,利用高中的知识,对 求导数,然后令导数为0,就可解出最优解很简单.但是问题来了,这里有约束条件,必须想办法 把约束条件去掉 才行,拉格朗日函数派上用场
一句话,某些条件下,把原始的约束问题通过拉格朗日函数转化为无约束问题,如果原始问题求解棘手,在满足KKT的条件下用求解对偶问题来代替求解原始问题,使得问题求解更加
∪△∪
这里的 和 都是拉格朗日算子。如果按这个公式求解,会出现问题,因为我们求解的是最小 这个问题是原问题的对偶问题,相对于原问题只是更换了min和max的顺序,而一般更换顺
可以构造拉格朗日函数如下: \mathcal{L}(x,\lambda,\mu)=f_0(x)+\sum_{i=1}^{n}\lambda_ 这是对偶问题。假设其最优解是 d^* = g(\lambda^*,\mu^*) ,则
对偶问题是利用拉格朗日对偶性将原始问题转换为对偶问题,通过解对偶问题得到原始问题的解。优点是:对偶问题往往更易于求解自然引入核函数,
˙△˙
\le0f(x)≤0,因此将满足条件的第二条转换为−x≤0-x\le0−x≤0,那么函数表达式如下:L(x,λ,μ)=CTx+∑λi(−xi)+∑μi(Axi−b)=CTx−λTx+uT(Ax−b)=_拉格朗日对偶问题例题
