【最优化理论】为什么要考虑线性规划中的对偶问题？_对偶理论在 ...

link之家

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

哪些情况下，考虑对偶问题有助于求解原问题？

1.原问题约束多、变量少时，求解对偶问题能够降低计算时间
使用单纯形法时，如果原问题约束多变量少，转换成对偶问题，就是约束少变量多。回顾单纯形法的原理，约束的减少能够有效降低计算时间。
2.帮助证明原问题无解
类似“证明无罪比证明有罪更难”，要证明原问题有解，只需要找出一个满足约束的点；却不能通过遍历所有的点来证明原问题无解。对偶问题的出现为证明原问题无解提供了思路，具体的方法在Farkas lemma部分展开说明。
3.便于进行敏感度分析
很多时候我们对原问题的好奇心并不仅限于得到最优解，而是还关注「如果某些已知条件发生变化，对最优解的影响程度如何」，这就是敏感度分析。

对偶问题和敏感性分析息息相关。
一是增加敏感度分析的直观程度（例如，对偶问题的最优解就是原问题约束的影子价格）。
二是在改变某些条件导致原问题无可行解时，可以借助仍然有可行解的对偶问题来分析。

影子价格名词解释：
影子价格是用来表示某种资源的真正价值和紧缺程度。
举个例子。一个公司正在用一种资源进行生产。假设这种资源的约束条件是x小于20，也就是说最多使用20个单位。假设此时收益为100。然后我们放宽一个单位的约束条件:x小于21。收益增加到105。那么增加的5收益就是这种资源的影子价格。也就是说，影子价格是为了进行约束而牺牲掉的收益。

通俗地说，影子价格指的是多使用一个单位的资源所带来的边际收益，从而衡量这种资源的价值。一种资源的影子价格为5元就是说在这种生产中这种资源的利用价值是5元。

影子价格可以表示资源稀缺程度。影子价格越大表示这种资源相对紧缺，反之影子价格越小表示这种资源相对不紧缺。影子价格是0就表示这种资源处于过剩状态。这个很好理解的，放宽一个约束条件并无法增加收益，因为约束条件本来就没有起到作用，这种资源本来就用不完。

链接：https://www.zhihu.com/question/23510001/answer/65225215
链接：https://www.zhihu.com/question/26658861/answer/631753103

如图，两个问题分别从左右两侧逼近最优值。如果原问题是求目标函数最小化，那么对偶问题就是在寻找原问题目标函数的下界。如果原问题是求目标函数最大化，那么对偶问题就是在寻找原问题目标函数的上界。哪些情况下，考虑对偶问题有助于求解原问题？1.原问题约束多、变量少时，求解对偶问题能够降低计算时间使用单纯形法时，如果原问题约束多变量少，转换成对偶问题，就是约束少变量多。回顾单纯形法的原理，约束的减少能够有效降低计算时间。2.帮助证明原问题无解类似“证明无罪比证明有罪更难”，要证明原问题有解，只需要找出一. 对偶问题 的对偶性体现这个理解来自于斯坦福的课程——凸优化： “我们注意到标准形式 线性规划 和不等式形式 线性规划 以及它们的 对偶问题 之间的有趣的对称性：标准形式 线性规划 的 对偶问题 是只含有不等式约束的 线性规划 问题，反之亦然。” 为了完整性，下面列出 对偶问题 将原始问题中的约束转为了 对偶问题 中的等式约束方便核函数的引入改变了问题的复杂度。由求特征向量w转化为求比例系数a，在原始问题下，求解的复杂度与样本的维度有关，即w的维度。在 对偶问题 下，只与样本数量有关。求解更高效，因为只用求解比例系数a，而比例系数a只有支持向量才为非0，其他全为0. 若约束条件比较复杂，则很难求解，因此我们希望把带约束的优化问题转...

对偶问题 机器学习或者 线性规划 等问题中经常被提到，如卡尔曼滤波与信息滤波互为对偶形式，支持向量机以及感知机也存在对应的 对偶问题 ，那么应该怎样理解 对偶问题 呢？对偶（duality）是一个在数学里面很普遍的概念，通常表示了一种 involution 的结构。也就是说， xxx 是一个concept, theorem 或者 mathematical structure， f(x)f(x)f(x)是某种...

经过前面的学习，相信大家已经对运筹学知识体系有了更加全面的了解，接下来小编将带你学习新一章的内容— 对偶理论相关知识，先来看看对偶理论的发展简史和应用，然后再带你领略该理论提出者的传奇一生！对偶理论发展简史在 线性规划 早期发展中最重要的发现就是 对偶问题 ，即每一个 线性规划 问题 (称为原始问题 )都有一个与它对应的对偶 线性规划 问题（称为 对偶问题 ）。 1928年美籍匈牙利数学家冯·诺伊曼(John Von Nouma)在研究对策.

当年看SVM时，对SVM 最优化 求解过程中 对偶问题 的一些方面还有些迷糊，今天看到有人写的一系列博客，用来深入了解这方面比较好，转载如下，源地址为：http://blog.csdn.net/vivihe0/article/details/7019826。 ————————————————————————————————————————————————————————————————

暑假在浙大接触了太多次梯度下降法,共轭梯度下降法，至今都没有做过总结，甚至自己不知道怎么把梯度下降法最好最直观的说出来，今天就来根据再走一下思路。 最优化 问题在机器学习中有非常重要的地位，很多机器学习算法最后都归结为求解 最优化 问题。在各种 最优化 算法中，梯度下降法是最简单、最常见的一种，在深度学习的训练中被广为使用。在本文中，将为大家系统的讲述梯度下降法的原理和实现细节问题。

采用支持向量机考虑和运算问题，运算为0时输出为-1，运算为1时输出1，那么转化为二次规划的优化问题是？最优解对应的超平面是？最优的最大间隔是？所有的支持向量是？ 对偶问题 是？

将和运算问题转化为支持向量机问题时，需要将输出标签0映射为-1，将输出标签1映射为1。这样得到的支持向量机问题的目标是找到一个超平面，使得所有训练样本点到超平面的距离最大。将上述支持向量机问题转化为 对偶问题 ，可以得到以下二次规划问题： $$\begin{aligned} &\max_{\alpha} \sum_{i=1}^{m}{\alpha_i}-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}{\alpha_i\alpha_jy_iy_jx_i^Tx_j}\\ &s.t. \ \alpha_i\geq 0, \ \sum_{i=1}^{m}{\alpha_iy_i}=0 \end{aligned}$$ 其中，$m$表示训练样本数量，$x_i$和$y_i$分别表示第$i$个样本的特征向量和标签，$\alpha_i$表示对应于第$i$个样本的拉格朗日乘子。最优解对应的超平面是通过支持向量的线性组合得到的，即： $$f(x)=\text{sign}(\sum_{i=1}^{m}{\alpha_iy_ix_i^Tx}+b)$$ 其中，$b$是偏置项。最优的最大间隔是支持向量到超平面的距离，即： $$\gamma=\frac{1}{\|\omega\|}=\frac{1}{\sqrt{\sum_{i=1}^{m}\sum_{j=1}^{m}{\alpha_i\alpha_jy_iy_jx_i^Tx_j}}}$$ 所有的支持向量是满足$\alpha_i>0$的样本点。 对偶问题 的解可以用来求解原始问题的解，即： $$\omega=\sum_{i=1}^{m}{\alpha_iy_ix_i}$$ $$b=y_i-\sum_{i=1}^{m}{\alpha_iy_ix_i^Tx_j}$$