We propose a random feature model for approximating high-dimensional sparse additive functions called the hard-ridge random feature expansion method (HARFE). This method utilizes a hard-thresholding pursuit-based algorithm applied to the sparse ridge regression (SRR) problem to approximate the coefficients with respect to the random feature matrix. The SRR formulation balances between obtaining sparse models that use fewer terms in their representation and ridge-based smoothing that tend to be robust to noise and outliers. In addition, we use a random sparse connectivity pattern in the random feature matrix to match the additive function assumption. We prove that the HARFE method is guaranteed to converge with a given error bound depending on the noise and the parameters of the sparse ridge regression model. Based on numerical results on synthetic data as well as on real datasets, the HARFE approach obtains lower (or comparable) error than other state-of-the-art algorithms.


翻译:我们建议一种随机特征模型,用于近似高维稀有添加函数的随机特性扩展法(HARFE),该方法采用对稀疏脊回归(SRR)问题适用的硬阻力追逐算法,以近似随机特征矩阵的系数。SRR的配方在获得稀疏模型时,使用较少的表述术语,而以洋脊为基的滑动,往往对噪音和外缘具有很强性。此外,我们使用随机特征矩阵中的随机稀疏连接模式来匹配添加函数的假设。我们证明,HARFE方法保证会与根据稀疏脊回归模型的噪音和参数约束的某一错误相融合。根据合成数据以及真实数据集的数字结果,HARFE方法获得的(或可比)差比其他最先进的算法更低(或相似的)差。

0
下载
关闭预览

相关内容

专知会员服务
45+阅读 · 2020年12月18日
专知会员服务
86+阅读 · 2020年12月5日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
VIP会员
相关VIP内容
专知会员服务
45+阅读 · 2020年12月18日
专知会员服务
86+阅读 · 2020年12月5日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员