近年来,在通过非凸优化来开发可证明的精确和高效的低秩矩阵分解算法方面取得了重大进展。由于非凸优化算法容易受到伪局部极小值的影响,传统智慧往往对其持悲观看法,而简单的迭代方法,如梯度下降,在实践中已经非常成功。然而,直到最近,这种理论基础在很大程度上还是缺乏的。

在这个书册风格的概述中,我们强调了统计模型在实现高效非凸优化和性能保证方面的重要作用。我们回顾了两种对比的方法:(1)两阶段算法,包括一个定制的初始化步骤,然后逐次细化;(2)全局景观分析和无初始化算法。讨论了几个典型矩阵分解问题,包括但不限于矩阵传感、相位恢复、矩阵补全、盲反褶积、鲁棒主成分分析、相位同步和联合对准。本文特别强调了分析背后的关键技术洞察力。本文证明,优化与统计的综合考虑,取得了丰硕的研究成果。

成为VIP会员查看完整内容
33

相关内容

【干货书】机器学习算法视角,249页pdf
专知会员服务
144+阅读 · 2021年10月18日
专知会员服务
16+阅读 · 2021年5月21日
最新《非凸优化理论》进展书册,79页pdf
专知会员服务
112+阅读 · 2020年12月18日
非凸优化与统计学,89页ppt,普林斯顿Yuxin Chen博士
专知会员服务
104+阅读 · 2020年6月28日
【经典书】凸优化:算法与复杂度,130页pdf
深度学习图像检索(CBIR): 十年之大综述
专知
66+阅读 · 2020年12月5日
绝对干货 | 随机梯度下降算法综述
菜鸟的机器学习
15+阅读 · 2017年10月30日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2022年4月18日
Optimization for deep learning: theory and algorithms
Arxiv
106+阅读 · 2019年12月19日
VIP会员
相关VIP内容
【干货书】机器学习算法视角,249页pdf
专知会员服务
144+阅读 · 2021年10月18日
专知会员服务
16+阅读 · 2021年5月21日
最新《非凸优化理论》进展书册,79页pdf
专知会员服务
112+阅读 · 2020年12月18日
非凸优化与统计学,89页ppt,普林斯顿Yuxin Chen博士
专知会员服务
104+阅读 · 2020年6月28日
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
微信扫码咨询专知VIP会员