The impracticality of posterior sampling has prevented the widespread adoption of spike-and-slab priors in high-dimensional applications. To alleviate the computational burden, optimization strategies have been proposed that quickly find local posterior modes. Trading off uncertainty quantification for computational speed, these strategies have enabled spike-and-slab deployments at scales that would be previously unfeasible. We build on one recent development in this strand of work: the Spike-and-Slab LASSO procedure of Ro\v{c}kov\'{a} and George (2018). Instead of optimization, however, we explore multiple avenues for posterior sampling, some traditional and some new. Intrigued by the speed of Spike-and-Slab LASSO mode detection, we explore the possibility of sampling from an approximate posterior by performing MAP optimization on many independently perturbed datasets. To this end, we explore Bayesian bootstrap ideas and introduce a new class of jittered Spike-and-Slab LASSO priors with random shrinkage targets. These priors are a key constituent of the Bayesian Bootstrap Spike-and-Slab LASSO (BB-SSL) method proposed here. BB-SSL turns fast optimization into approximate posterior sampling. Beyond its scalability, we show that BB-SSL has a strong theoretical support. Indeed, we find that the induced pseudo-posteriors contract around the truth at a near-optimal rate in sparse normal-means and in high-dimensional regression. We compare our algorithm to the traditional Stochastic Search Variable Selection (under Laplace priors) as well as many state-of-the-art methods for shrinkage priors. We show, both in simulations and on real data, that our method fares superbly in these comparisons, often providing substantial computational gains.


翻译:离子取样不切实际, 阻止了在高维应用中广泛采用螺旋和平板前置程序。 然而, 为了减轻计算负担, 我们提出了优化策略, 快速找到本地的后台模式。 以计算速度交换不确定性量化, 这些策略使得在以前不可能做到的尺度上部署螺旋和滑板成为可能。 我们在此一系列工作的最新发展基础上再接再厉: Spik- 和 Slab LASSO 程序( Ro\v{c}kov\\ {a} 和 George (2018) 。 然而, 为了减轻计算负担, 我们探索了多种红外取样取样的多条途径, 一些传统和新的。 由于Spat- oria 样级取样的速度加快, 我们的Squalal- oria- roadal- recreal- serview lasteal- serval- serview laSqual- labal- serview labal- labal- labal- laves lavel laft la- labal- supliver laft laft lab lab lab lab labs laft laves- 数据, 我们的Slview laft lab labb- lab- lab- lab- slviews- la- sl- lab- sal- lab- slview 数据 labal- 数据, labal- lab- sl 数据显示了一种快速 数据, 数据, lax- sal- sal- sal- sal- sal- lab- sal- lab- sl- sl- sl- sl- sl- lab- lab- lab- lab- lab- lab- sl- lab- sl- lab- sl- sl- sl- sl- sl- sl- sl- sal- sal- sal- sl- sl) ladal- sl- sl 数据

0
下载
关闭预览

相关内容

专知会员服务
51+阅读 · 2020年12月14日
【干货书】机器学习速查手册,135页pdf
专知会员服务
127+阅读 · 2020年11月20日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
105+阅读 · 2019年10月9日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
LASSO回归与XGBoost:融合模型预测房价
论智
32+阅读 · 2018年8月8日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
VIP会员
相关VIP内容
专知会员服务
51+阅读 · 2020年12月14日
【干货书】机器学习速查手册,135页pdf
专知会员服务
127+阅读 · 2020年11月20日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
105+阅读 · 2019年10月9日
Top
微信扫码咨询专知VIP会员