This paper considers optimization of smooth nonconvex functionals in smooth infinite dimensional spaces. A H\"older gradient descent algorithm is first proposed for finding approximate first-order points of regularized polynomial functionals. This method is then applied to analyze the evaluation complexity of an adaptive regularization method which searches for approximate first-order points of functionals with $\beta$-H\"older continuous derivatives. It is shown that finding an $\epsilon$-approximate first-order point requires at most $O(\epsilon^{-\frac{p+\beta}{p+\beta-1}})$ evaluations of the functional and its first $p$ derivatives.


翻译:本文审视了平滑的非电流功能在光滑无限维度空间中的优化问题。 首先,为寻找常规化多元功能的大致第一阶点,建议使用 H\ “ 老化梯度下降算法 ” 。 然后,该方法用于分析适应性正规化方法的评估复杂性,该方法以$\beta$-H\“老式连续衍生物搜索大约第一阶功能点。 这表明, 找到一个$\ epsilon$- 近似第一阶点, 需要最多对函数及其第一个p$的衍生物进行O( \\ epsilon_\\\\\\ frac{ p\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\ \ \ \ \ \\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \

0
下载
关闭预览

相关内容

【经典书】线性代数元素,197页pdf
专知会员服务
57+阅读 · 2021年3月4日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
VIP会员
相关VIP内容
【经典书】线性代数元素,197页pdf
专知会员服务
57+阅读 · 2021年3月4日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
Top
微信扫码咨询专知VIP会员