This paper introduces an incremental training framework for compressing popular Deep Neural Network (DNN) based unfolded multiple-input-multiple-output (MIMO) detection algorithms like DetNet. The idea of incremental training is explored to select the optimal depth while training. To reduce the computation requirements or the number of FLoating point OPerations (FLOPs) and enforce sparsity in weights, the concept of structured regularization is explored using group LASSO and sparse group LASSO. Our methods lead to an astounding $98.9\%$ reduction in memory requirement and $81.63\%$ reduction in FLOPs when compared with DetNet without compromising on BER performance.


翻译:本文介绍了压缩流行的深神经网络(DNN)的递增培训框架,这种网络以DetNet等多投入多输出检测算法为基础,展开多种投入多产出(MIMO)的演化。探讨递增培训的想法是为了在培训期间选择最佳深度。为了减少计算要求或脱线点定位的数量,并强制实施重量的宽度,利用LASO集团和分散的LASSO集团探讨结构正规化概念。我们的方法导致记忆要求减少98.9美元,与DetNet相比,FLOP减少81.63美元,但不影响BER的性能。

0
下载
关闭预览

相关内容

专知会员服务
16+阅读 · 2021年4月3日
【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
39+阅读 · 2020年2月21日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
31+阅读 · 2019年10月17日
ECCV 2020 目标跟踪论文大盘点
极市平台
7+阅读 · 2020年10月4日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Deep Compression/Acceleration:模型压缩加速论文汇总
极市平台
14+阅读 · 2019年5月15日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
【推荐】(TensorFlow)SSD实时手部检测与追踪(附代码)
机器学习研究会
11+阅读 · 2017年12月5日
Arxiv
0+阅读 · 2021年6月8日
VIP会员
相关资讯
ECCV 2020 目标跟踪论文大盘点
极市平台
7+阅读 · 2020年10月4日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Deep Compression/Acceleration:模型压缩加速论文汇总
极市平台
14+阅读 · 2019年5月15日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
【推荐】(TensorFlow)SSD实时手部检测与追踪(附代码)
机器学习研究会
11+阅读 · 2017年12月5日
Top
微信扫码咨询专知VIP会员