Early graph prompt tuning approaches relied on task-specific designs for Graph Neural Networks (GNNs), limiting their adaptability across diverse pre-training strategies. In contrast, another promising line of research has investigated universal graph prompt tuning, which operates directly in the input graph's feature space and builds a theoretical foundation that universal graph prompt tuning can theoretically achieve an equivalent effect of any prompting function, eliminating dependence on specific pre-training strategies. Recent works propose selective node-based graph prompt tuning to pursue more ideal prompts. However, we argue that selective node-based graph prompt tuning inevitably compromises the theoretical foundation of universal graph prompt tuning. In this paper, we strengthen the theoretical foundation of universal graph prompt tuning by introducing stricter constraints, demonstrating that adding prompts to all nodes is a necessary condition for achieving the universality of graph prompts. To this end, we propose a novel model and paradigm, Learning and Editing Universal GrAph Prompt Tuning (LEAP), which preserves the theoretical foundation of universal graph prompt tuning while pursuing more ideal prompts. Specifically, we first build the basic universal graph prompts to preserve the theoretical foundation and then employ actor-critic reinforcement learning to select nodes and edit prompts. Extensive experiments on graph- and node-level tasks across various pre-training strategies in both full-shot and few-shot scenarios show that LEAP consistently outperforms fine-tuning and other prompt-based approaches.


翻译:早期的图提示调优方法依赖于针对图神经网络(GNNs)的任务特定设计,限制了其在不同预训练策略间的适应性。相比之下,另一条有前景的研究路线探索了通用图提示调优,该方法直接在输入图的特征空间中操作,并建立了理论基石,证明通用图提示调优在理论上能够实现任何提示函数的等效效果,从而消除了对特定预训练策略的依赖。近期研究提出了基于选择性节点的图提示调优以追求更理想的提示。然而,我们认为基于选择性节点的图提示调优不可避免地会削弱通用图提示调优的理论基础。本文通过引入更严格的约束条件强化了通用图提示调优的理论基础,证明对所有节点添加提示是实现图提示通用性的必要条件。为此,我们提出了一种新颖的模型与范式——通用图提示学习与编辑(LEAP),该模型在追求更理想提示的同时保持了通用图提示调优的理论基础。具体而言,我们首先构建基础通用图提示以保留理论基础,随后采用演员-评论家强化学习进行节点选择与提示编辑。在多种预训练策略下,针对图级与节点级任务在充足样本与少样本场景中进行的大量实验表明,LEAP在性能上持续优于微调及其他基于提示的方法。

0
下载
关闭预览

相关内容

【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员