大量理论和经验证据表明,较平坦的局部最小值倾向于提高泛化能力。对抗权重扰动(Adversarial Weight Perturbation,AWP)是一种快速有效地寻找这种最小值的新兴技术。在AWP中,我们最小化损失w.r.t。模型参数的有界最坏情况扰动,从而有利于在其周围邻域内具有小损失的局部最小值。AWP的好处,以及平坦度和泛化之间的联系,已经被广泛研究了i.i.d.数据,如图像。本文针对图数据广泛研究了这一现象。在此过程中,我们首先推导出非i.i.d的泛化界。节点分类任务。用所有现有的AWP公式确定一个消失梯度问题,并提出一种新的加权截断AWP (WTAWP)来缓解这个问题。用WT-AWP正则化图神经网络,持续提高了许多不同图学习任务和模型的自然和鲁棒泛化能力。

成为VIP会员查看完整内容
19

相关内容

【AAAI2022】基于图神经网络的统一离群点异常检测方法
专知会员服务
28+阅读 · 2022年2月12日
【AAAI2022】跨域少样本图分类
专知会员服务
30+阅读 · 2022年1月22日
专知会员服务
108+阅读 · 2020年12月21日
【AAAI2021】 层次图胶囊网络
专知会员服务
84+阅读 · 2020年12月18日
专知会员服务
20+阅读 · 2020年12月9日
【AAAI2022】跨域少样本图分类
专知
1+阅读 · 2022年1月22日
【WWW2022】互信息压缩的紧凑图结构学习
专知
2+阅读 · 2022年1月17日
ICLR2019 图上的对抗攻击
图与推荐
17+阅读 · 2020年3月15日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年2月8日
Arxiv
10+阅读 · 2020年11月26日
Arxiv
12+阅读 · 2018年1月12日
VIP会员
相关VIP内容
【AAAI2022】基于图神经网络的统一离群点异常检测方法
专知会员服务
28+阅读 · 2022年2月12日
【AAAI2022】跨域少样本图分类
专知会员服务
30+阅读 · 2022年1月22日
专知会员服务
108+阅读 · 2020年12月21日
【AAAI2021】 层次图胶囊网络
专知会员服务
84+阅读 · 2020年12月18日
专知会员服务
20+阅读 · 2020年12月9日
相关资讯
【AAAI2022】跨域少样本图分类
专知
1+阅读 · 2022年1月22日
【WWW2022】互信息压缩的紧凑图结构学习
专知
2+阅读 · 2022年1月17日
ICLR2019 图上的对抗攻击
图与推荐
17+阅读 · 2020年3月15日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Arxiv
0+阅读 · 2023年2月8日
Arxiv
10+阅读 · 2020年11月26日
Arxiv
12+阅读 · 2018年1月12日
微信扫码咨询专知VIP会员