Markov chain Monte Carlo (MCMC) is an effective and dominant method to sample from high-dimensional complex distributions. Yet, most existing MCMC methods are only applicable to settings with smooth potentials (log-densities). In this work, we examine sampling problems with non-smooth potentials. We propose a novel MCMC algorithm for sampling from non-smooth potentials. We provide a non-asymptotical analysis of our algorithm and establish a polynomial-time complexity $\tilde {\cal O}(d\varepsilon^{-1})$ to obtain $\varepsilon$ total variation distance to the target density, better than all existing results under the same assumptions. Our method is based on the proximal bundle method and an alternating sampling framework. This framework requires the so-called restricted Gaussian oracle, which can be viewed as a sampling counterpart of the proximal mapping in convex optimization. One key contribution of this work is a fast algorithm that realizes the restricted Gaussian oracle for any convex non-smooth potential with bounded Lipschitz constant.


翻译:Markov 链- Monte Carlo (MCMC) 是高维复杂分布样本的有效和主导方法。 然而, 现有的 MMC 方法大多只适用于具有光滑潜力( log- densicity) 的设置。 在这项工作中, 我们检查非光滑潜力的取样问题。 我们提出一种新的 MMC 算法, 用于从非光滑潜能进行取样。 我们对我们的算法进行非同步分析, 并建立一个多元时间复杂性 $\ tilde $ caro}( d\varepsilon ⁇ _ 1}) $, 以获得 $\ varepsilon 的总变化距离到目标密度, 比同一假设下的所有现有结果都要好。 我们的方法以准光滑捆绑方法和交替采样框架为基础。 这个框架需要所谓的限制的高山或骨架, 它可以被看成是锥形优化的准天线绘图的抽样对应方。 这项工作的一项关键贡献是快速算法, 它可以实现任何具有固定式的软质的软骨。

0
下载
关闭预览

相关内容

【干货书】机器学习速查手册,135页pdf
专知会员服务
127+阅读 · 2020年11月20日
商业数据分析,39页ppt
专知会员服务
165+阅读 · 2020年6月2日
深度强化学习策略梯度教程,53页ppt
专知会员服务
184+阅读 · 2020年2月1日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
已删除
将门创投
4+阅读 · 2018年11月6日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
3+阅读 · 2017年12月1日
VIP会员
相关资讯
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
已删除
将门创投
4+阅读 · 2018年11月6日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Top
微信扫码咨询专知VIP会员