随着越来越多不符合图像或文本等简单、规则结构的数据变得易于获取,表示学习(representation learning)领域也在不断演化,致力于通过新的方法来描述、理解,甚至“统一”适用于集合(sets)、网格(grids)以及图(graphs)等数据结构的深度学习策略。 在这一方向中,几何深度学习(geometric deep learning)的一个极其成功的应用便是图学习(learning on graphs)——它通过抽象地表示集合中各个元素之间的关系,自然地刻画了诸如社交、生物以及交通网络等现实世界现象。近年来,图学习领域的突破性进展已催生出一系列具有重大影响的应用,例如蛋白质结构预测、根据目标结构反推能够折叠至该结构的氨基酸序列(即反向构象问题),乃至地球尺度的天气预报。 尽管取得了显著成果,但图学习方法在算法复杂度、计算资源利用率与任务性能之间的平衡方面仍存在不确定性,且鲜有方法能够在多个数据集、基准和任务设定中保持稳定优越的表现。该领域的快速发展既带来了新的挑战,也暴露出现有方法论的不足。 在本论文中,我探讨了深度学习中的多个关键方面,包括图神经网络(Graph Neural Networks, GNNs)图Transformer(Graph Transformers)以及图领域的迁移学习(Transfer Learning)。从概念上讲,本研究所要解决的主要限制在于:现有的图学习算子往往是固定且手工设计(fixed and handcrafted)的。为此,我提出将注意力机制(attention mechanism)视为一种通用机制(universal mechanism),能够增强乃至取代当前的架构设计。 我的第一个贡献聚焦于图神经网络:将传统的读出函数(readout functions)替换为基于神经网络的自适应读出模块(adaptive readouts),特别是基于注意力的池化(attention-based pooling)方法。 其次,我研究了在高通量筛选(high-throughput screening)流程中进行的迁移学习问题,该流程特定于药物研发的早期阶段。在这一设定下,我通过实验证明,传统的读出函数无法有效建模数百万规模的分子数据,而自适应读出则能够显著释放图神经网络的迁移学习潜力。 最后,受到上述结论及高效、精确注意力机制(efficient and exact attention)最新进展的启发,我提出了一种端到端的、基于注意力的图学习框架——Edge Set Attention。该方法以边为中心(edge-based),比消息传递机制(message passing)和图Transformer更加简洁,并在多个任务上取得了最新的性能水平(state-of-the-art results)。 本论文所提出的方法与发现经过数百次实验的实证验证,持续优于传统方法,充分验证了本文提出的核心假设。

成为VIP会员查看完整内容
2

相关内容

剑桥大学(英语:University of Cambridge;勋衔:Cantab)为一所座落于英国剑桥郡剑桥市的研究型大学。它是英语世界中历史第二悠久的大学,也是世界现存第四古老的大学。剑桥大学的起源为一群牛津大学的学者,因与牛津市民发生冲突而移居至剑桥。剑桥与牛津这两所在中世纪建立的英国大学,在校务运作、学术声望、社会地位等多方面都非常相似,经常合称为“牛剑”
【牛津博士论文】零样本强化学习综述
专知会员服务
28+阅读 · 8月25日
【斯坦福博士论文】受限条件下的表示学习
专知会员服务
27+阅读 · 3月8日
【KDD2024】面向鲁棒推荐的决策边界感知图对比学习
专知会员服务
21+阅读 · 2024年8月8日
大模型时代的自动图表理解综述
专知会员服务
70+阅读 · 2024年3月19日
【NeurIPS2022】通过模型转换的可解释强化学习
专知会员服务
38+阅读 · 2022年10月4日
【CMU博士论文】多视图上下文理解的知识增强表示学习
专知会员服务
35+阅读 · 2022年8月11日
【南洋理工-CVPR2022】视觉语言模型的条件提示学习
专知会员服务
34+阅读 · 2022年3月13日
综述| 当图神经网络遇上强化学习
图与推荐
35+阅读 · 2022年7月1日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Arxiv
0+阅读 · 10月30日
A Survey of Large Language Models
Arxiv
487+阅读 · 2023年3月31日
Arxiv
25+阅读 · 2023年3月17日
Arxiv
10+阅读 · 2020年11月26日
VIP会员
相关VIP内容
【牛津博士论文】零样本强化学习综述
专知会员服务
28+阅读 · 8月25日
【斯坦福博士论文】受限条件下的表示学习
专知会员服务
27+阅读 · 3月8日
【KDD2024】面向鲁棒推荐的决策边界感知图对比学习
专知会员服务
21+阅读 · 2024年8月8日
大模型时代的自动图表理解综述
专知会员服务
70+阅读 · 2024年3月19日
【NeurIPS2022】通过模型转换的可解释强化学习
专知会员服务
38+阅读 · 2022年10月4日
【CMU博士论文】多视图上下文理解的知识增强表示学习
专知会员服务
35+阅读 · 2022年8月11日
【南洋理工-CVPR2022】视觉语言模型的条件提示学习
专知会员服务
34+阅读 · 2022年3月13日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
微信扫码咨询专知VIP会员