由于从不同渠道获得的数据具有固有的异质性,学习多模态数据的表示仍然是一个具有挑战性的问题,在测试时,既要有信息又要对缺失的模态具有鲁棒性。为了解决这个问题,我们提出了一种新的几何多模态对比(GMC)表示学习方法,包括两个主要组成部分: i) 一个由模态特定基编码器组成的两层架构,允许处理任意数量的模态到固定维的中间表示,以及一个共享的投影头,将中间表示映射到一个潜在的表示空间; Ii) 多模态对比损失函数,鼓励学习表征的几何对齐。我们通过实验证明,GMC表示在三个不同的学习问题(包括预测和强化学习任务)上具有丰富的语义,并在缺少模态信息的情况下实现了最先进的性能。

成为VIP会员查看完整内容
45

相关内容

国际机器学习大会(International Conference on Machine Learning,简称ICML ) 是由国际机器学习学会(IMLS)主办的机器学习国际顶级会议,也是CCF-A类学术会议。ICML 2022 共收到5630 投稿,接收1117 篇 short oral,118篇 long oral,录用率为21.94%。
【CMU博士论文】多视图上下文理解的知识增强表示学习
专知会员服务
35+阅读 · 2022年8月11日
【MIT博士论文】分子图表示学习与生成的药物发现
专知会员服务
49+阅读 · 2022年6月28日
专知会员服务
7+阅读 · 2021年9月20日
专知会员服务
32+阅读 · 2021年8月7日
专知会员服务
38+阅读 · 2021年6月3日
ICML 2022 | 图神经网络的局部增强
PaperWeekly
3+阅读 · 2022年8月4日
【CVPR2022】视频对比学习的概率表示
专知
1+阅读 · 2022年4月12日
【WSDM2022】具有分层注意力的表示学习
图与推荐
1+阅读 · 2021年11月17日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
3+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年9月7日
Arxiv
69+阅读 · 2022年6月13日
Learning in the Frequency Domain
Arxiv
11+阅读 · 2020年3月12日
VIP会员
相关VIP内容
【CMU博士论文】多视图上下文理解的知识增强表示学习
专知会员服务
35+阅读 · 2022年8月11日
【MIT博士论文】分子图表示学习与生成的药物发现
专知会员服务
49+阅读 · 2022年6月28日
专知会员服务
7+阅读 · 2021年9月20日
专知会员服务
32+阅读 · 2021年8月7日
专知会员服务
38+阅读 · 2021年6月3日
相关资讯
ICML 2022 | 图神经网络的局部增强
PaperWeekly
3+阅读 · 2022年8月4日
【CVPR2022】视频对比学习的概率表示
专知
1+阅读 · 2022年4月12日
【WSDM2022】具有分层注意力的表示学习
图与推荐
1+阅读 · 2021年11月17日
相关基金
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
3+阅读 · 2009年12月31日
相关论文
微信扫码咨询专知VIP会员