近年来,基于异构信息网络(HINs)的自监督预训练方法与传统的半监督异构图神经网络(HGNNs)相比显示出了良好的竞争力。不幸的是,它们的性能严重依赖于精心定制各种策略,以生成高质量的正例和反例,这明显限制了它们的灵活性和泛化能力。在这项工作中,我们提出了一种新的自监督异构图预训练方法SHGP,它不需要生成任何正例或负例。它由两个共享相同注意力聚合方案的模块组成。在每次迭代中,Att-LPA模块通过结构聚类产生伪标签,这些伪标签作为自我监督信号,指导Att-HGNN模块学习对象嵌入和注意系数。这两个模块可以有效地相互利用和增强,促进模型学习判别嵌入。在四个真实数据集上的大量实验证明了SHGP对最先进的无监督基线甚至半监督基线的优越有效性。我们在https://github.com/kepsail/SHGP发布源代码。

成为VIP会员查看完整内容
24

相关内容

【NeurIPS2022】基于最大熵编码的自监督学习
专知会员服务
27+阅读 · 2022年10月23日
NeurIPS2022|图对比学习的结构公平性初探
专知会员服务
18+阅读 · 2022年10月13日
【KDD2022】自监督超图Transformer推荐系统
专知会员服务
34+阅读 · 2022年8月1日
专知会员服务
41+阅读 · 2021年5月24日
【NeurIPS2022】基于最大熵编码的自监督学习
NeurIPS2022|图对比学习的结构公平性初探
专知
0+阅读 · 2022年10月16日
【KDD2022】自监督超图Transformer推荐系统
专知
1+阅读 · 2022年8月1日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
VIP会员
相关VIP内容
【NeurIPS2022】基于最大熵编码的自监督学习
专知会员服务
27+阅读 · 2022年10月23日
NeurIPS2022|图对比学习的结构公平性初探
专知会员服务
18+阅读 · 2022年10月13日
【KDD2022】自监督超图Transformer推荐系统
专知会员服务
34+阅读 · 2022年8月1日
专知会员服务
41+阅读 · 2021年5月24日
相关基金
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
微信扫码咨询专知VIP会员