Unlearning is challenging in generic learning frameworks with the continuous growth and updates of models exhibiting complex inheritance relationships. This paper presents a novel unlearning framework that enables fully parallel unlearning among models exhibiting inheritance. We use a chronologically Directed Acyclic Graph (DAG) to capture various unlearning scenarios occurring in model inheritance networks. Central to our framework is the Fisher Inheritance Unlearning (FIUn) method, designed to enable efficient parallel unlearning within the DAG. FIUn utilizes the Fisher Information Matrix (FIM) to assess the significance of model parameters for unlearning tasks and adjusts them accordingly. To handle multiple unlearning requests simultaneously, we propose the Merging-FIM (MFIM) function, which consolidates FIMs from multiple upstream models into a unified matrix. This design supports all unlearning scenarios captured by the DAG, enabling one-shot removal of inherited knowledge while significantly reducing computational overhead. Experiments confirm the effectiveness of our unlearning framework. For single-class tasks, it achieves complete unlearning with 0% accuracy for unlearned labels while maintaining 94.53% accuracy for retained labels. For multi-class tasks, the accuracy is 1.07% for unlearned labels and 84.77% for retained labels. Our framework accelerates unlearning by 99% compared to alternative methods. Code is in https://github.com/MJLee00/Parallel-Unlearning-in-Inherited-Model-Networks.


翻译:在模型持续增长和更新且呈现复杂继承关系的通用学习框架中,遗忘学习具有挑战性。本文提出了一种新颖的遗忘学习框架,能够在具有继承关系的模型之间实现完全并行遗忘。我们使用时序有向无环图(DAG)来捕捉模型继承网络中出现的各种遗忘场景。我们框架的核心是Fisher继承遗忘(FIUn)方法,旨在实现DAG内的高效并行遗忘。FIUn利用Fisher信息矩阵(FIM)评估模型参数对于遗忘任务的重要性,并据此进行调整。为了同时处理多个遗忘请求,我们提出了合并FIM(MFIM)函数,该函数将来自多个上游模型的FIM整合为一个统一的矩阵。此设计支持DAG捕捉的所有遗忘场景,能够一次性移除继承知识,同时显著降低计算开销。实验证实了我们遗忘学习框架的有效性。对于单类任务,该框架在遗忘标签上实现了0%准确率的完全遗忘,同时在保留标签上保持了94.53%的准确率。对于多类任务,遗忘标签的准确率为1.07%,保留标签的准确率为84.77%。与替代方法相比,我们的框架将遗忘学习速度提升了99%。代码位于https://github.com/MJLee00/Parallel-Unlearning-in-Inherited-Model-Networks。

0
下载
关闭预览

相关内容

继承是面向对象软件技术当中的一个概念,与多态、封装共为面向对象的三个基本特征。 继承可以使得子类具有父类的属性和方法或者重新定义、追加属性和方法等。
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关资讯
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员