The elastic net combines lasso and ridge regression to fuse the sparsity property of lasso with the grouping property of ridge regression. The connections between ridge regression and gradient descent and between lasso and forward stagewise regression have previously been shown. Similarity to how the elastic net generalizes lasso and ridge regression, we introduce elastic gradient descent, a generalization of gradient descent and forward stagewise regression. We compare elastic gradient descent to the elastic net on real and simulated data, and show that it provides similar solution paths, but is of several orders of magnitude faster. Compared to forward stagewise regression, elastic gradient descent selects a model that, although still sparse, provides considerable lower prediction and estimation errors. We also investigate the case of infinitesimal step size, obtaining a piecewise analytical solution we refer to as elastic gradient flow.


翻译:弹性网结合 lasso 和 ridge 回归 结合 lasso 和 ridge 回归 结合 lasso 的宽度属性 与 ridge 回归 的 组合 属性 结合 。 先前已经显示了 ridge 回归 与 laso 回归 之间以及 lasso 与 lasso 和 前阶段回归 之间的联系 。 弹性网如何将 lasso 和 ridge 回归 相类似, 我们引入 弹性 梯度 回归, 梯度下降 和 前级 回归 。 我们比较 真实 和 模拟 数据 中 的 弹性 梯度 下降 与 弹性 网络 的 宽度 属性, 显示 它提供了 类似 的 解决方案, 但 是 多个 等量 的 。 与 前级回归 相比, 弹性 梯度 梯度 下降 选择 模式 虽然 仍然 稀少, 但 提供 低得多 的 的 预测 和 估计 错误 。 我们还调查 无限 步骤 步骤 的 步骤 大小,, 大小,, 获得 的 的 分析 解 。

0
下载
关闭预览

相关内容

不可错过!《机器学习100讲》课程,UBC Mark Schmidt讲授
专知会员服务
76+阅读 · 2022年6月28日
专知会员服务
51+阅读 · 2020年12月14日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
VIP会员
相关VIP内容
不可错过!《机器学习100讲》课程,UBC Mark Schmidt讲授
专知会员服务
76+阅读 · 2022年6月28日
专知会员服务
51+阅读 · 2020年12月14日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员