优化⽅法：原问题和拉格朗⽇对偶问题（primal-dual ）
本⽂主要讲解有关原问题和拉格朗⽇对偶问题，以及它们之间的关系，从⽽引出弱对偶性和强对偶性以及 KKT 条件和 Slater 条件。
原问题
优化问题⼀般都可以写为下⾯的形式：
以上形式被成为原问题，即求解⼀个满⾜ m 个不等式约束和 p 个等式约束的函数 的最⼩值。实际上我们并不关⼼最⼩值是什么，⽽是关⼼最⼩值在 x 是什么的时候取得。
服装店的经营上述是⼀般的优化问题，⽽凸优化问题在以上形式的基础上多了⼏个限制条件：1. 为凸函数 2. 为仿射函数。将⼀般的优化问题转化为凸优化问题的好处是凸优化只有⼀个极⼩值点，也就是说凸优化问题的局部最优解即全局最优解。下⾯的讨论如果不加以说明都是针对⼀般的优化问题来说的。
拉格朗⽇函数
解决带约束的条件的优化问题的⼀般解决办法是拉格朗⽇乘⼦法，也就是先写出拉格朗⽇函数，再让拉⽒函数对 x 求导得到导数为 0 的点，将这些点带⼊原函数，则其中的最⼤值即为原函数的最⼤值，最⼩值即为原函数的最⼩值。上述凸优化问题的拉⽒函数为：
实业有限公司英文其中 ，，这是因为在可⾏域内，因为 ，所以当 时， 的最⼤值为 0；因为 ，所
以 恒为0， 可以取任意值。这样就保证了 的最⼤值为原函数 ，即 。
对于固定的 x 来说，拉⽒函数 为 和 v 的仿射函数。
拉格朗⽇对偶函数
由此⼀来，就把原来的求解带约束条件的原函数转换为了不带约束条件的拉格朗⽇函数。求解 就等价于求解
。但是该式⼦并不容易求解，所以引⼊了拉格朗⽇对偶函数（注意不是对偶问题），拉格朗⽇对偶函数就是拉格朗
⽇函数关于 x 取最⼩值，即：
其中 表⽰函数逐点对 x 求下确界，也就是对任意的 和 v 求出⼀个使得 最⼩的 x 。当拉⽒函数没有下确界时，定义下确界为 ，即 ； D 是可⾏域。拉格朗⽇对偶函数是⼀个凹函数，也就是说它存在⼀个唯⼀的极⼤值点。
拉⽒对偶函数为凹函数证明
先来感性的看⼀下这个问题，因为是拉⽒对偶函数是关于 u 和 v 的仿射函数，所以可以⽤下⾯两张⽰意图表⽰对 x 逐点取最⼩值的结果：
min f (x ),
x ∈0R n
s .t .f (x )≤i 0,i =1,2,...,m
h (x )=j 0,j =1,2,...,p
f (x )0f (x )i h (x )j L (x ,u ,v )=f (x )+
0u f (x )+
i =1
∑
m
i i v h (x )
j =1∑
p
j j u ≥i 0v ∈j R f (x )≤i 0u ≥i 0u f (x )∑i =1m
i i h (x )=j 0v h (x )∑j =1p
j j v j L (x ,u ,v )f (x )0max L (x ,u ,v )
=u ,v f (x )0L (x ,u ,v )u min f (x )x 0min max L (x ,u ,v )x u ,v g (u ,v )=L (x ,u ,v )=x ∈D inf [f (x )+
x ∈D inf
0u f (x )+
i =1
∑
m
i i v h (x )]
j =1∑
p
j j inf x ∈D u L (x ,u ,v )−∞g (u ,v )=−∞
上图是随便画的多个仿射函数，对其逐点取最⼩值得到下图：
可以发现结果是⼀个凹函数。
油断一秒 怪我一生
拉⽒对偶函数和原函数的关系
因为 ，所以可以⽤拉格朗⽇对偶的最⼤值去逼近原函数的最⼩值。下⾯来证明⼀下上⾯式⼦的正确性：
min f (x )=x 0min max L (x ,u ,v )≥x u ,v max min L (x ,u ,v )=u ,v x max g (u ,v )u ,v
因为任何函数都不⼤于其对某个变量求最⼤值，故：
上式两边对 y 求最⼩值得：
上式中不等式的前⾯是⼀个关于 x 的函数，不妨记为 G(x)，不等式后⾯是⼀个定值，不妨记为 A，所以说 ，所以 G(x) 的最⼤值也不⼤于 A：
得证。
弱对偶和强对偶
波兰语学习我们⽤ 表⽰原问题的最优解，即 ；⽤ 表⽰拉⽒对偶函数的最优解，即 。并定义原问题的最优解与
拉⽒对偶问题的最优解之间的差值为 对偶间隙（dual gap），即 。
前⾯我们已经证明了原问题的最优解⼤于等于对偶问题的最优解，即，这个性质被称作 弱对偶性 ，也可以表⽰为对偶间隙⼤于等于 0，即 。即使当 和 ⽆限时，弱对偶性仍然成⽴。如果原问题⽆下界，则对偶问题也⽆下界；如果对偶问题⽆上界，则原问题也⽆上界，即原问题不可⾏。
如果原问题的最优解和拉⽒对偶问题的最优解相等，也就是对偶间隙为 0，则 强对偶性 成⽴。
⼀般情况下强对偶性不成⽴，但是如果原问题是凸优化问题，即原函数和不等式约束 为凸函数，⽽等式约束 为仿射函数，则强对偶性通常（但不总是）成⽴。⽽强对偶性成⽴的条件⼀般被称为 约束准则。下⾯主要讲解两个约束准则—— KKT 条件 和 Slater 条件。
KKT 条件
之前证明了我们可以⽤拉格朗⽇对偶的最⼤值去逼近原函数的最⼩值的思路是正确的，但是什么时候两者的最⼤值和最⼩值相等呢？
f (x ,y )≤
f (x ,y )
x
max
f (x ,y )≤
y
min
f (x ,y )
y
min x
max
G (x )≤A f (x ,y )≤
x
max y
min f (x ,y )
y
min x
max
p ∗p =∗min f (x )x 0d ∗d =∗max g (u ,v )u ,v p −∗d ∗p ≥∗d ∗p −∗d ≥∗0p ∗d ∗f (x )i h (x )j
⾸先假设函数 都可微，但并不假设这些函数为凸函数，则拉⽒对偶函数：
因为⼀个函数的下确界（最⼩值）不⼤于函数本⾝，故：
⼜因为后两项的最⼤值为 0，故：
上⾯三式中，、 和 分别是拉格朗⽇对偶函数和原函数的最优解。所以说要想让拉格朗⽇对偶函数的最⼤值和原函数最⼩值相等，需要让上⾯三式中的⼩于等于号全部取等号。
圣诞英语祝福语
因为拉格朗⽇函数在 处取得极⼩值，因此拉⽒函数在 处的导数为 0 。所以第⼀个 取等号的条件是拉⽒函数对 的偏导为 0，即：
第⼆个 取等号的条件是 和 全部为 0，前⾯说了，后者恒等于 0，⽽前者为 0 的条件是：
但是因为在可⾏域内，以上求和项的每⼀项都是⾮正的，因此以上条件等价于：
guanqi以上 2 个约束条件，再加上凸优化问题⾃⾝的三个约束条件就得到了著名的 KKT 条件，和 KMP 算法的名称类似，所谓的 KKT 条件的命名其实是三位科学家名字的英⽂⾸字母的组合，KKT 条件即：
f (x ),...,f (x ),h (x ),...,h (x )0m 1p
g (u ,v )=
∗∗[f (x )+三星手机广告音乐
x
inf
0u f (x )
+
四级真题答案i =1∑
m
i ∗
i v h (x )]
j =1∑
p
j ∗
j ≤f (x )+
0∗u f (x )
+
i =1∑
m
i ∗i ∗v h (x )
j =1∑astonmartin
p
j ∗
j ∗≤f (x )
0∗u ∗v ∗x ∗x ∗x ∗≤x ∗∇f (x )+
0∗
u ∇f (x )
+
百度英语在线翻译
i =1∑
m
i ∗
i v ∇h (x )
=j =1∑
p
j ∗
j 0条件(1)
≤u f (x )∑i =1m
i ∗
i ∗v h (x )∑j =1p
j ∗
j ∗u f (x )=i =1
∑
m
i ∗
i ∗0
u f (x )=i ∗
i ∗0
条件(2)
f (x )≤i ∗0,
i =1,...,m
h (x )=i ∗0,
i =1,...,p
u ≥i ∗
0,
i =1,...,m
