We propose an always-feasible quadratic programming (QP) optimizer, FlexQP, which is based on an exact relaxation of the QP constraints. If the original constraints are feasible, then the optimizer finds the optimal solution to the original QP. On the other hand, if the constraints are infeasible, the optimizer identifies a solution that minimizes the constraint violation in a sparse manner. FlexQP scales favorably with respect to the problem dimension, is robust to both feasible and infeasible QPs with minimal assumptions on the problem data, and can be effectively warm-started. We subsequently apply deep unfolding to improve our optimizer through data-driven techniques, leading to an accelerated Deep FlexQP. By learning dimension-agnostic feedback policies for the parameters from a small number of training examples, Deep FlexQP generalizes to problems with larger dimensions and can optimize for many more iterations than it was initially trained for. Our approach outperforms two recently proposed state-of-the-art accelerated QP approaches on a suite of benchmark systems including portfolio optimization, classification, and regression problems. We provide guarantees on the expected performance of our deep QP optimizer through probably approximately correct (PAC) Bayes generalization bounds. These certificates are used to design an accelerated sequential quadratic programming solver that solves nonlinear optimal control and predictive safety filter problems faster than traditional approaches. Overall, our approach is very robust and greatly outperforms existing non-learning and learning-based optimizers in terms of both runtime and convergence to the optimal solution across multiple classes of NLPs.


翻译:我们提出了一种始终可行的二次规划(QP)优化器FlexQP,它基于对QP约束的精确松弛。如果原始约束可行,则优化器能找到原始QP的最优解;反之,若约束不可行,优化器将以稀疏方式识别出最小化约束违反的解。FlexQP在问题维度上具有良好的可扩展性,对可行与不可行的QP问题均具有鲁棒性,且对问题数据假设极少,并能有效进行热启动。随后,我们应用深度展开技术,通过数据驱动方法改进优化器,从而得到加速的Deep FlexQP。通过从少量训练样本中学习维度无关的参数反馈策略,Deep FlexQP能够泛化到更大维度的问题,并可以运行比初始训练时更多的迭代次数。在包括投资组合优化、分类和回归问题在内的一系列基准系统上,我们的方法优于两种近期提出的最先进加速QP方法。我们通过概率近似正确(PAC)贝叶斯泛化界为深度QP优化器的预期性能提供了保证。这些证明被用于设计一种加速序列二次规划求解器,该求解器在求解非线性最优控制和预测安全滤波器问题时比传统方法更快。总体而言,我们的方法非常鲁棒,在运行时间和收敛到最优解方面,均显著优于现有的非学习和基于学习的优化器,适用于多类非线性规划问题。

0
下载
关闭预览

相关内容

【NeurIPS2019】图变换网络:Graph Transformer Network
NAACL 2019 | 一种考虑缓和KL消失的简单VAE训练方法
PaperWeekly
20+阅读 · 2019年4月24日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员