Motivated by the grid search method and Bayesian optimization, we introduce the concept of contractibility and its applications in model-based optimization. First, a basic framework of contraction methods is established to construct a nonempty closed set sequence that contracts from the initial domain to the set of global minimizers. Then, from the perspective of whether the contraction can be carried out effectively, relevant conditions are introduced to divide all continuous optimization problems into three categories: (i) logarithmic time contractible, (ii) polynomial time contractible, or (iii) noncontractible. For every problem from the first two categories, there exists a contraction sequence that converges to the set of all global minimizers with linear convergence; for any problem from the last category, we discuss possible troubles caused by contraction. Finally, a practical algorithm is proposed with high probability bounds for convergence rate and complexity. It is shown that the contractibility contributes to practical applications and can also be seen as a complement to smoothness for distinguishing the optimization problems that are easy to solve.


翻译:在网格搜索法和巴耶斯优化的推动下,我们引入了合同性概念及其在基于模型的优化中的应用。首先,建立了收缩方法基本框架,以构建一个非空封闭的固定序列,从初始域到全球最小化器组进行合同。然后,从收缩能否有效进行的角度,引入了相关条件,将所有连续优化问题分为三类:(一) 对数时间可承包,(二) 多元时间可订约,或(三) 不可订约。对于前两类的每一个问题,都存在一个收缩序列,与具有线性趋同的所有全球最小化器的组合汇合在一起;对于最后一个类别的任何问题,我们讨论收缩可能造成的麻烦。最后,提出了一种实际的算法,其汇合率和复杂性的概率很高。事实表明,合同性有助于实际应用,并且可以被视为对确定易于解决的优化问题的顺利性的补充。

0
下载
关闭预览

相关内容

专知会员服务
51+阅读 · 2020年12月14日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Arxiv
12+阅读 · 2021年3月24日
VIP会员
相关资讯
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Top
微信扫码咨询专知VIP会员