No existing spherical convolutional neural network (CNN) framework is both computationally scalable and rotationally equivariant. Continuous approaches capture rotational equivariance but are often prohibitively computationally demanding. Discrete approaches offer more favorable computational performance but at the cost of equivariance. We develop a hybrid discrete-continuous (DISCO) group convolution that is simultaneously equivariant and computationally scalable to high-resolution. While our framework can be applied to any compact group, we specialize to the sphere. Our DISCO spherical convolutions not only exhibit $\text{SO}(3)$ rotational equivariance but also a form of asymptotic $\text{SO}(3)/\text{SO}(2)$ rotational equivariance, which is more desirable for many applications (where $\text{SO}(n)$ is the special orthogonal group representing rotations in $n$-dimensions). Through a sparse tensor implementation we achieve linear scaling in number of pixels on the sphere for both computational cost and memory usage. For 4k spherical images we realize a saving of $10^9$ in computational cost and $10^4$ in memory usage when compared to the most efficient alternative equivariant spherical convolution. We apply the DISCO spherical CNN framework to a number of benchmark dense-prediction problems on the sphere, such as semantic segmentation and depth estimation, on all of which we achieve the state-of-the-art performance.


翻译:没有现存的球状神经网络(CNN)框架是计算可缩放和旋转不均的。 连续方法可以捕捉旋转的顺差, 但往往在计算上要求过高。 分解方法可以提供更有利的计算性能, 但以逆差为代价。 我们开发了一个混合的离散连续( DISCO) 组变异, 并且可以同时以高分辨率进行计算。 虽然我们的框架可以适用于任何紧凑组, 我们专门用于球体。 我们的 DISCO 球变不仅显示 $\ text{ SO}(3) 美元旋转性变换性, 而且往往在计算上要求过高。 分解方法不仅显示 $\ text{ SO}(3)/\ text{ (3)/\ text{ SO} (2) 调性变异性。 我们开发了一个混合的离异的组合, 代表着美元- dimensional 的旋转, 我们通过执行微调调调的阵列, 不仅显示 $ slinealalalalal $ roqal lial lial diversal diversal diversal divalation diversation ex ex ex $ doltrade $ $ $ $ ex y ex ex laveal ex laveal laveal lax lax lax lax laveal lax lax lax lax lax lautus lax lax, lax lax lax lautus lax lax lax lax lax lax lax lax lax laut laut laut laut lax lax lax lax lax lax lax lax lax lax lax lax lax lax lautcal lax lax lax lax lax lax lax lax lax lax lax lax lax lax lauts lauts laut lax lax lax lax lax

0
下载
关闭预览

相关内容

不可错过!《机器学习100讲》课程,UBC Mark Schmidt讲授
专知会员服务
76+阅读 · 2022年6月28日
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Arxiv
23+阅读 · 2022年2月24日
Arxiv
13+阅读 · 2019年11月14日
Arxiv
17+阅读 · 2019年3月28日
VIP会员
相关资讯
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
相关论文
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员