We study \textit{rescaled gradient dynamical systems} in a Hilbert space $\mathcal{H}$, where implicit discretization in a finite-dimensional Euclidean space leads to high-order methods for solving monotone equations (MEs). Our framework can be interpreted as a natural generalization of celebrated dual extrapolation method from first order to high order via appeal to the regularization toolbox of optimization theory. In particular, we establish the global existence and uniqueness and analyze the convergence properties of solution trajectories. We also present discrete-time counterparts of our high-order continuous-time methods, and we show that the $p^{th}$-order method achieves an ergodic rate of $O(k^{-(p+1)/2})$ in terms of a restricted merit function and a pointwise rate of $O(k^{-p/2})$ in terms of a residue function. Under regularity conditions, the restarted version of $p^{th}$-order methods achieves local convergence with the order $p \geq 2$. Notably, our methods are \textit{optimal} since they have matched the lower bound established for solving the monotone equation problems.


翻译:我们在一个 Hilbert 空间 $\ mathcal{H} 中研究\ textit{ 缩放梯度动态系统} $\ mathcal{H} $。 在这种空间中,在有限维度的 Euclidean 空间中,隐含的离散导致解决单色方程式(MEs) 的高阶方法。 我们的框架可以被解释为一种自然的概括,即从一阶到高阶的已知双极外推法。 通过呼吁优化理论的正规化工具框,我们特别建立了全球存在和独特性,并分析了解决方案轨迹的趋同性。 我们还介绍了我们高阶连续时间方法的离散对应方,并且我们显示, $p{th} $- sord 方法在有限的功绩功能方面达到了1美元(k ⁇ - (p+1/2) /2} 的ergodic 率。 和 $O (k ⁇ - pp/2} 的近似速率 。 在正常条件下, $ $ 重新启用的版本的 $_trotimal 方法在本地上实现了它们与 $\geqq $ 2$ 之间的解算问题。

0
下载
关闭预览

相关内容

专知会员服务
26+阅读 · 2021年4月2日
VCIP 2022 Call for Special Session Proposals
CCF多媒体专委会
1+阅读 · 2022年4月1日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium2
中国图象图形学学会CSIG
0+阅读 · 2021年11月8日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
VIP会员
相关资讯
VCIP 2022 Call for Special Session Proposals
CCF多媒体专委会
1+阅读 · 2022年4月1日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium2
中国图象图形学学会CSIG
0+阅读 · 2021年11月8日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员