本研究提出了一种可增长且模块化的神经网络架构,可在持续强化学习中自然地避免灾难性遗忘与任务间干扰。该架构中每个模块的结构支持将先前策略与当前模块内部策略进行选择性组合,从而加速当前任务的学习过程。与以往的可增长神经网络方法不同,我们证明该方法的参数数量随着任务数量线性增长,同时在扩展性方面不以牺牲可塑性为代价。在标准的连续控制与视觉任务基准上进行的实验表明,该方法相比其他方法在知识迁移能力与性能表现上均取得了更优结果。

成为VIP会员查看完整内容
12

相关内容

【NeurIPS2023】将持续学习重新定义为序列建模
专知会员服务
35+阅读 · 2023年10月19日
专知会员服务
12+阅读 · 2021年7月16日
【Amazon】使用预先训练的Transformer模型进行数据增强
专知会员服务
58+阅读 · 2020年3月6日
【AAAI2023】用于图对比学习的谱特征增强
专知
20+阅读 · 2022年12月11日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
【KDD2020】图神经网络生成式预训练
专知
23+阅读 · 2020年7月3日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Arxiv
174+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
495+阅读 · 2023年3月31日
Arxiv
81+阅读 · 2023年3月26日
VIP会员
相关VIP内容
【NeurIPS2023】将持续学习重新定义为序列建模
专知会员服务
35+阅读 · 2023年10月19日
专知会员服务
12+阅读 · 2021年7月16日
【Amazon】使用预先训练的Transformer模型进行数据增强
专知会员服务
58+阅读 · 2020年3月6日
相关资讯
【AAAI2023】用于图对比学习的谱特征增强
专知
20+阅读 · 2022年12月11日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
【KDD2020】图神经网络生成式预训练
专知
23+阅读 · 2020年7月3日
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
相关论文
Arxiv
174+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
495+阅读 · 2023年3月31日
Arxiv
81+阅读 · 2023年3月26日
微信扫码咨询专知VIP会员