最近,预训练的视觉语言模型(例如,CLIP)在少样本学习中表现出巨大的潜力,并吸引了大量研究兴趣。尽管已经有努力改进CLIP的少样本能力,但现有方法的关键因素的有效性尚未被充分研究,这限制了进一步探索CLIP在少样本学习中的潜力。在本文中,我们首先介绍了一个统一的公式,从对数偏差的角度分析基于CLIP的少样本学习方法,这促使我们学习一个有效的对数偏差,以进一步提高基于CLIP的少样本学习方法的性能。为此,我们拆解了计算对数偏差中涉及的三个关键组成部分(即,对数特征、对数预测器和对数融合),并从实证上分析了它们对少样本分类性能的影响。基于关键组件的分析,本文提出了一种新颖的AMU-Tuning方法,用于学习有效的对数偏差,用于基于CLIP的少样本分类。具体来说,我们的AMU-Tuning通过利用适当的辅助特征来预测对数偏差,这些特征被送入一个高效的多分支训练的特征初始化线性分类器。最后,开发了一种基于不确定性的融合方法,将对数偏差整合到CLIP中进行少样本分类。实验在几个广泛使用的基准测试上进行,结果显示AMU-Tuning在性能上明显优于其竞争对手,同时实现了基于CLIP的少样本学习的最先进性能,无需任何花哨的技巧。

成为VIP会员查看完整内容
21

相关内容

专知会员服务
12+阅读 · 2021年7月16日
【WSDM2021】基于演化状态图的时间序列事件预测
专知会员服务
54+阅读 · 2020年12月1日
【ACL2020-Google】逆向工程配置的神经文本生成模型
专知会员服务
17+阅读 · 2020年4月20日
【AAAI2023】用于图对比学习的谱特征增强
专知
20+阅读 · 2022年12月11日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
174+阅读 · 2023年4月20日
Arxiv
81+阅读 · 2023年3月26日
VIP会员
相关VIP内容
专知会员服务
12+阅读 · 2021年7月16日
【WSDM2021】基于演化状态图的时间序列事件预测
专知会员服务
54+阅读 · 2020年12月1日
【ACL2020-Google】逆向工程配置的神经文本生成模型
专知会员服务
17+阅读 · 2020年4月20日
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员