We present Gradient Gating (G$^2$), a novel framework for improving the performance of Graph Neural Networks (GNNs). Our framework is based on gating the output of GNN layers with a mechanism for multi-rate flow of message passing information across nodes of the underlying graph. Local gradients are harnessed to further modulate message passing updates. Our framework flexibly allows one to use any basic GNN layer as a wrapper around which the multi-rate gradient gating mechanism is built. We rigorously prove that G$^2$ alleviates the oversmoothing problem and allows the design of deep GNNs. Empirical results are presented to demonstrate that the proposed framework achieves state-of-the-art performance on a variety of graph learning tasks, including on large-scale heterophilic graphs.


翻译:我们提出了一个改进图形神经网络绩效的新框架,即G$2G$GNNT(GNNNs),我们的框架以GNN层的产出为基础,并有一个通过基本图形节点传递信息的多率信息流机制;利用当地梯度进一步调整信息传递更新;我们的框架灵活地允许人们使用任何基本的GNN层作为建立多率梯度机制的包装;我们严格地证明,G$2$缓解了过度覆盖的问题,并允许设计深层GNNNs。我们介绍了经验性结果,以证明拟议的框架在各种图表学习任务,包括大规模血化图上取得了最新业绩。

0
下载
关闭预览

相关内容

【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
Arxiv
23+阅读 · 2022年2月24日
Directional Graph Networks
Arxiv
27+阅读 · 2020年12月10日
Arxiv
14+阅读 · 2019年9月11日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
相关论文
Arxiv
23+阅读 · 2022年2月24日
Directional Graph Networks
Arxiv
27+阅读 · 2020年12月10日
Arxiv
14+阅读 · 2019年9月11日
相关基金
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员