Learning similarity functions between image pairs with deep neural networks yields highly correlated activations of embeddings. In this work, we show how to improve the robustness of such embeddings by exploiting the independence within ensembles. To this end, we divide the last embedding layer of a deep network into an embedding ensemble and formulate training this ensemble as an online gradient boosting problem. Each learner receives a reweighted training sample from the previous learners. Further, we propose two loss functions which increase the diversity in our ensemble. These loss functions can be applied either for weight initialization or during training. Together, our contributions leverage large embedding sizes more effectively by significantly reducing correlation of the embedding and consequently increase retrieval accuracy of the embedding. Our method works with any differentiable loss function and does not introduce any additional parameters during test time. We evaluate our metric learning method on image retrieval tasks and show that it improves over state-of-the-art methods on the CUB 200-2011, Cars-196, Stanford Online Products, In-Shop Clothes Retrieval and VehicleID datasets.


翻译:与深神经网络相配的图像相配者之间学习相似功能, 产生高度关联的嵌入激活。 在这项工作中, 我们展示了如何通过利用嵌入内部的独立来提高嵌入的稳健性。 为此, 我们将深网络的最后嵌入层分割成一个嵌入式集合, 并将此组合设计成在线梯度推动问题 。 每个学习者都从先前的学习者那里获得一个经过重新加权的培训样本 。 此外, 我们提议了两个损失功能, 增加我们组合的多样性 。 这些损失功能既可以用于重量初始化, 也可以用于培训中 。 我们的贡献加在一起, 通过大幅降低嵌入的关联性从而提高嵌入的检索精度, 从而更有效地利用大型嵌入规模 。 我们的方法与任何不同的损失功能一起工作, 在测试期间不会引入任何额外的参数 。 我们评估了我们关于图像检索任务的标准学习方法, 并显示它在CUB 200- 2011、 Cars- 196、 斯坦福在线产品、 Insploevalalval、 Instrieval 和SRID 数据集上改进了最新方法 。

18
下载
关闭预览

相关内容

损失函数,在AI中亦称呼距离函数,度量函数。此处的距离代表的是抽象性的,代表真实数据与预测数据之间的误差。损失函数(loss function)是用来估量你模型的预测值f(x)与真实值Y的不一致程度,它是一个非负实值函数,通常使用L(Y, f(x))来表示,损失函数越小,模型的鲁棒性就越好。损失函数是经验风险函数的核心部分,也是结构风险函数重要组成部分。
【Google】监督对比学习,Supervised Contrastive Learning
专知会员服务
75+阅读 · 2020年4月24日
因果图,Causal Graphs,52页ppt
专知会员服务
253+阅读 · 2020年4月19日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
读书报告 | Deep Learning for Extreme Multi-label Text Classification
科技创新与创业
48+阅读 · 2018年1月10日
Hardness-Aware Deep Metric Learning
Arxiv
6+阅读 · 2019年3月13日
Deep Randomized Ensembles for Metric Learning
Arxiv
5+阅读 · 2018年9月4日
Arxiv
8+阅读 · 2018年5月15日
Arxiv
17+阅读 · 2018年4月2日
Arxiv
9+阅读 · 2018年3月28日
VIP会员
相关VIP内容
相关论文
Hardness-Aware Deep Metric Learning
Arxiv
6+阅读 · 2019年3月13日
Deep Randomized Ensembles for Metric Learning
Arxiv
5+阅读 · 2018年9月4日
Arxiv
8+阅读 · 2018年5月15日
Arxiv
17+阅读 · 2018年4月2日
Arxiv
9+阅读 · 2018年3月28日
Top
微信扫码咨询专知VIP会员