We propose perturbed proximal algorithms that can provably escape strict saddles for nonsmooth weakly convex functions. The main results are based on a novel characterization of $\epsilon$-approximate local minimum for nonsmooth functions, and recent developments on perturbed gradient methods for escaping saddle points for smooth problems. Specifically, we show that under standard assumptions, the perturbed proximal point, perturbed proximal gradient and perturbed proximal linear algorithms find $\epsilon$-approximate local minimum for nonsmooth weakly convex functions in $O(\epsilon^{-2}\log(d)^4)$ iterations, where $d$ is the dimension of the problem.


翻译:我们提议了可以避免对非光滑微软锥形功能严格使用马鞍的粗略原始算法。 主要结果基于对非光滑函数近似本地最小值的新型定性,以及最近关于为平滑问题逃离马鞍点的粗略梯度方法的发展。 具体地说,我们表明,根据标准假设,在“O”(\epsilon\ ⁇ 2 ⁇ log(d)4)$的迭代中,有不光滑的软锥形函数的粗略纯度值($\epsilon$-ap)近似本地最低值($),在“O”(\epsilon\ ⁇ 2 ⁇ log(d) ⁇ 4)$(d)$(d)$(d)是问题维度的维度。

0
下载
关闭预览

相关内容

在数学中,鞍点或极大极小点是函数图形表面上的一点,其正交方向上的斜率(导数)都为零,但它不是函数的局部极值。鞍点是在某一轴向(峰值之间)有一个相对最小的临界点,在交叉轴上有一个相对最大的临界点。
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
112+阅读 · 2020年5月15日
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Arxiv
0+阅读 · 2021年6月1日
Arxiv
0+阅读 · 2021年5月31日
Arxiv
0+阅读 · 2021年5月30日
VIP会员
相关资讯
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
相关论文
Arxiv
0+阅读 · 2021年6月1日
Arxiv
0+阅读 · 2021年5月31日
Arxiv
0+阅读 · 2021年5月30日
Top
微信扫码咨询专知VIP会员