In a high-dimensional setting, sparse model has shown its power in computational and statistical efficiency. We consider variables selection problem with a broad class of simultaneous sparsity regularization, enforcing both feature-wise and group-wise sparsity at the same time. The analysis leverages an introduction of $\epsilon q$-norm in vector space, which is proved to has close connection with the mixture regularization and naturally leads to a dual formulation. Properties of primal/dual optimal solution and optimal values are discussed, which motivates the design of screening rules. We several fast safe screening rules in the general framework, rules that discard inactive features/groups at an early stage that are guaranteed to be inactive in the exact solution, leading to a significant gain in computation speed.


翻译:在高维环境中,稀有模型显示了其在计算和统计效率方面的力量。我们考虑的是,在同时同时同时实行特征和群体型宽度的广泛类别下,变量选择问题。分析利用了在矢量空间引入$\epsilon q-norm的杠杆,这已证明与混合物正规化密切相关,并自然导致双重配方。讨论了原始/双最佳解决方案和最佳值的属性,这促使筛选规则的设计。我们在总体框架中提出了几条快速安全的筛选规则,即早期丢弃非活动特性/群落的规则,这些规则保证在确切的解决方案中不起作用,从而导致计算速度的大幅提高。

0
下载
关闭预览

相关内容

强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
MIT新书《强化学习与最优控制》
专知会员服务
282+阅读 · 2019年10月9日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年11月16日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员