Frequency information lies at the base of discriminating between textures, and therefore between different objects. Classical CNN architectures limit the frequency learning through fixed filter sizes, and lack a way of explicitly controlling it. Here, we build on the structured receptive field filters with Gaussian derivative basis. Yet, rather than using predetermined derivative orders, which typically result in fixed frequency responses for the basis functions, we learn these. We show that by learning the order of the basis we can accurately learn the frequency of the filters, and hence adapt to the optimal frequencies for the underlying learning task. We investigate the well-founded mathematical formulation of fractional derivatives to adapt the filter frequencies during training. Our formulation leads to parameter savings and data efficiency when compared to the standard CNNs and the Gaussian derivative CNN filter networks that we build upon.


翻译:频率信息位于质地之间, 因而在不同对象之间区分的基点。 经典CNN结构限制通过固定过滤器大小进行频率学习, 并且缺乏明确控制的方法。 在这里, 我们以高斯派衍生物为基础, 建立结构化的可接受字段过滤器。 然而, 我们不使用通常为基础功能带来固定频率反应的预定衍生品订单, 而是学习这些指令。 我们通过学习能够准确了解过滤器频率的基础顺序, 从而适应基础学习任务的最佳频率。 我们调查有根据的分数衍生物数学配方, 以便在培训期间调整过滤频率。 我们的配方可以比我们建立的标准CNN和高斯派派派衍生的CNN过滤网络来参数节约和数据效率 。

0
下载
关闭预览

相关内容

Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
LibRec 精选:基于参数共享的CNN-RNN混合模型
LibRec智能推荐
6+阅读 · 2019年3月7日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Learning in the Frequency Domain
Arxiv
11+阅读 · 2020年3月12日
Arxiv
4+阅读 · 2020年1月17日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
LibRec 精选:基于参数共享的CNN-RNN混合模型
LibRec智能推荐
6+阅读 · 2019年3月7日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
相关论文
Learning in the Frequency Domain
Arxiv
11+阅读 · 2020年3月12日
Arxiv
4+阅读 · 2020年1月17日
Top
微信扫码咨询专知VIP会员