Lagrange 拉格朗日乘子法

发现一篇很好的讲解，放在前面。

拉格朗日乘子法是一种寻找多元函数在一组约束下的极值的方法。通过引入拉格朗日乘子，可将d个变量与k个约束条件的最优化问题转化为具有d+k个变量的无约束优化问题求解。
对偶函数给出了主问题最优值的下界，最优(大)下界就是我们关心的问题。
如果主问题为凸优化问题，强对偶性成立。此时将拉格朗日函数分别对原变量和对偶变量求导，再令导数等于零，即可得到原变量与对偶变量的数值关系。此时，对偶问题解决了，原问题也就解决了。

统计学习方法 介绍的思路：
从原始问题，找到等价的拉格朗日函数，找到其对偶问题，当原始问题与对偶问题的最优值相等时，可以用解对偶问题替代解原始问题。它们相等的充要条件是$x^*, \alpha^*, \beta^*$满足 KKT 条件。

Ref

[1] 统计学习方法
[2] 机器学习 - 周志华
[3] https://zhuanlan.zhihu.com/p/24638007