本文针对深度卷积神经网络提出了一种常规的、易应用的变换单元,即Gated Channel Transformation (GCT) 模块。GCT结合了归一化方法和注意力机制,并使用轻量级的、易于分析的变量来隐式地学习网络通道间的相互关系。这些通道量级的变量可以直接影响神经元间的竞争或者合作行为,且能方便地与卷积网络本身的权重参数一同参与训练。通过引入归一化方法,GCT模块要远比SE-Nets的SE模块轻量,这使得将GCT部署在每个卷积层上而不让网络变得过于臃肿成为了可能。本文在多个大型数据集上针对数种基础视觉任务进行了充分的实验,即ImageNet数据集上的图片分类,COCO上的目标检测与实例分割,还有Kinetics上的视频分类。在这些视觉任务上,引入GCT模块均能带来明显的性能提升。这些大量的实验充分证明了GCT模块的有效性。

成为VIP会员查看完整内容
13

相关内容

【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型
专知会员服务
26+阅读 · 2020年5月7日
CVPR2020 | 商汤-港中文等提出PV-RCNN:3D目标检测新网络
专知会员服务
45+阅读 · 2020年4月17日
MSRA视觉组可变形卷积网络升级!更高性能,更强建模能力
未来产业促进会
6+阅读 · 2018年11月29日
CVPR | ImageNet冠军模型SE-Net详解!
全球人工智能
3+阅读 · 2017年8月2日
Arxiv
4+阅读 · 2020年3月27日
Arxiv
10+阅读 · 2018年2月4日
Arxiv
7+阅读 · 2018年1月24日
VIP会员
相关主题
相关VIP内容
相关论文
Arxiv
4+阅读 · 2020年3月27日
Arxiv
10+阅读 · 2018年2月4日
Arxiv
7+阅读 · 2018年1月24日
微信扫码咨询专知VIP会员