由于大型语言模型(LLMs)的庞大模型规模,微调这些模型非常困难。近期基于傅里叶域的方法在减少微调成本方面表现出了潜力。我们提出了一种基于块循环矩阵的微调方法,并采用稳定的训练启发式方法,利用循环矩阵和一维傅里叶变换的性质,以降低存储和计算成本。实验表明,我们的方法比VeRA少使用14倍的参数,比LoRA小16倍,比FourierFT少使用32倍的FLOP,同时保持接近或更好的任务性能。我们的方法在频域中为下游任务微调大型模型提供了一种有前景的方案。

成为VIP会员查看完整内容
10

相关内容

【AAAI2024】基于扩散语言模型的文本引导分子生成
专知会员服务
29+阅读 · 2024年2月21日
专知会员服务
22+阅读 · 2021年10月8日
专知会员服务
23+阅读 · 2021年9月27日
专知会员服务
38+阅读 · 2021年6月3日
【AAAI2023】用于图对比学习的谱特征增强
专知
20+阅读 · 2022年12月11日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
174+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
494+阅读 · 2023年3月31日
VIP会员
相关VIP内容
【AAAI2024】基于扩散语言模型的文本引导分子生成
专知会员服务
29+阅读 · 2024年2月21日
专知会员服务
22+阅读 · 2021年10月8日
专知会员服务
23+阅读 · 2021年9月27日
专知会员服务
38+阅读 · 2021年6月3日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
相关论文
微信扫码咨询专知VIP会员