Recent work has argued that classification losses utilizing softmax cross-entropy are superior not only for fixed-set classification tasks, but also by outperforming losses developed specifically for open-set tasks including few-shot learning and retrieval. Softmax classifiers have been studied using different embedding geometries -- Euclidean, hyperbolic, and spherical -- and claims have been made about the superiority of one or another, but they have not been systematically compared with careful controls. We conduct an empirical investigation of embedding geometry on softmax losses for a variety of fixed-set classification and image retrieval tasks. An interesting property observed for the spherical losses lead us to propose a probabilistic classifier based on the von Mises--Fisher distribution, and we show that it is competitive with state-of-the-art methods while producing improved out-of-the-box calibration. We provide guidance regarding the trade-offs between losses and how to choose among them.


翻译:最近的工作认为,利用软麦角交叉作物的分类损失,不仅对固定定级任务而言,而且对专门为开放任务(包括短短的学习和检索)而开发的超效损失,都具有优越性。软麦分级器使用不同的嵌入式地貌(Euclidean, 双曲, 球体)进行了研究,对其中一方或另一方的优越性提出了索赔,但并没有系统地与谨慎的控制措施进行比较。我们进行了实验性调查,对将软麦分层的几何测量嵌入软麦分层,以适应各种固定定级和图像检索任务。观测到的球体损失的一个有趣的属性导致我们提出一个基于冯米斯-费舍分布的概率性分类器,我们表明,在产生改进的箱外校准时,它与最新的方法具有竞争力。我们为损失的权衡和如何选择提供了指导。

0
下载
关闭预览

相关内容

100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
Arxiv
11+阅读 · 2021年2月17日
Deep Randomized Ensembles for Metric Learning
Arxiv
5+阅读 · 2018年9月4日
Arxiv
9+阅读 · 2018年3月28日
Arxiv
3+阅读 · 2016年2月24日
VIP会员
Top
微信扫码咨询专知VIP会员