Continual Learning (CL) aims to incrementally acquire new knowledge while mitigating catastrophic forgetting. Within this setting, Online Continual Learning (OCL) focuses on updating models promptly and incrementally from single or small batches of observations from a data stream. Extending OCL to graph-structured data is crucial, as many real-world networks evolve over time and require timely, online predictions. However, existing continual or streaming graph learning methods typically assume access to entire graph snapshots or multiple passes over tasks, violating the efficiency constraints of the online setting. To address this gap, we introduce the Online Continual Graph Learning (OCGL) setting, which formalizes node-level continual learning on evolving graphs under strict memory and computational budgets. OCGL defines how a model incrementally processes a stream of node-level information while maintaining anytime inference and respecting resource constraints. We further establish a comprehensive benchmark comprising seven datasets and nine CL strategies, suitably adapted to the OCGL setting, enabling a standardized evaluation setup. Finally, we present a minimalistic yet competitive baseline for OCGL, inspired by our benchmarking results, that achieves strong empirical performance with high efficiency.


翻译:持续学习旨在逐步获取新知识,同时缓解灾难性遗忘问题。在此框架下,在线持续学习侧重于从数据流中单个或小批量观测中即时、增量地更新模型。将在线持续学习扩展至图结构数据至关重要,因为许多现实世界网络随时间演化,需要及时、在线的预测。然而,现有的持续或流式图学习方法通常假设能够访问完整的图快照或对任务进行多次遍历,这违反了在线场景的效率约束。为填补这一空白,我们提出了在线持续图学习设定,该设定在严格的内存与计算预算下,形式化了演化图上节点级别的持续学习。在线持续图学习定义了模型如何在维持随时推理能力并遵守资源约束的同时,增量处理节点级信息流。我们进一步建立了一个包含七个数据集和九种持续学习策略的综合基准,这些策略经过适当调整以适应在线持续图学习设定,从而提供了一个标准化的评估框架。最后,基于基准测试结果,我们为在线持续图学习提出了一种简约而具有竞争力的基线方法,该方法以高效率实现了强大的实证性能。

0
下载
关闭预览

相关内容

【ICML2024】社区不变图对比学习
专知会员服务
24+阅读 · 2024年5月4日
图卷积神经网络蒸馏知识,Distillating Knowledge from GCN
专知会员服务
96+阅读 · 2020年3月25日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
29+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Arxiv
0+阅读 · 12月18日
VIP会员
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
29+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员