Recent advance on linear support vector machine with the 0-1 soft margin loss ($L_{0/1}$-SVM) shows that the 0-1 loss problem can be solved directly. However, its theoretical and algorithmic requirements restrict us extending the linear solving framework to its nonlinear kernel form directly, the absence of explicit expression of Lagrangian dual function of $L_{0/1}$-SVM is one big deficiency among of them. In this paper, by applying the nonparametric representation theorem, we propose a nonlinear model for support vector machine with 0-1 soft margin loss, called $L_{0/1}$-KSVM, which cunningly involves the kernel technique into it and more importantly, follows the success on systematically solving its linear task. Its optimal condition is explored theoretically and a working set selection alternating direction method of multipliers (ADMM) algorithm is introduced to acquire its numerical solution. Moreover, we firstly present a closed-form definition to the support vector (SV) of $L_{0/1}$-KSVM. Theoretically, we prove that all SVs of $L_{0/1}$-KSVM are only located on the parallel decision surfaces. The experiment part also shows that $L_{0/1}$-KSVM has much fewer SVs, simultaneously with a decent predicting accuracy, when comparing to its linear peer $L_{0/1}$-SVM and the other six nonlinear benchmark SVM classifiers.


翻译:使用 0-1 软差损失的线性支持矢量机( 0. 0/1 美元- SVM ) 的最近进步显示 0-1 软差损失问题可以直接解决。 但是,它的理论和算法要求限制我们将线性解决框架直接扩展至非线性内核形式,没有明确表达Lagangian 的双向功能( $L+0/1 美元- SVM ) 是其中的一大缺陷。 在本文中,我们通过应用非参数表示值符号,提出了一个非线性支持矢量机的非线性模型( $-1 软差损失), 称为 $+0/1 美元- KSVM 问题。 在系统解决其线性任务的成功之后, 其最佳条件在理论上加以探索, 并引入一套固定选择的乘数性交替方向法( ADMMM) 算出其数字解决方案。 此外, 我们首先通过应用一个封闭式定义 $L 0. 0 美元- 美元- KVM 美元 的支持矢量- KVM, 美元 美元 。, 我们证明所有 SV 类 标值 的精确值都显示 SL 1 部分 值为 X- slV 的 值 值 值 值 值 值 值 值 值 值 值 值 值 值 值 值 值为 。

0
下载
关闭预览

相关内容

Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年2月1日
Max-Margin Contrastive Learning
Arxiv
18+阅读 · 2021年12月21日
Arxiv
11+阅读 · 2018年7月8日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
相关论文
Arxiv
0+阅读 · 2023年2月1日
Max-Margin Contrastive Learning
Arxiv
18+阅读 · 2021年12月21日
Arxiv
11+阅读 · 2018年7月8日
相关基金
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员