Supervised multi-view stereo (MVS) methods have achieved remarkable progress in terms of reconstruction quality, but suffer from the challenge of collecting large-scale ground-truth depth. In this paper, we propose a novel self-supervised training pipeline for MVS based on knowledge distillation, termed \textit{KD-MVS}, which mainly consists of self-supervised teacher training and distillation-based student training. Specifically, the teacher model is trained in a self-supervised fashion using both photometric and featuremetric consistency. Then we distill the knowledge of the teacher model to the student model through probabilistic knowledge transferring. With the supervision of validated knowledge, the student model is able to outperform its teacher by a large margin. Extensive experiments performed on multiple datasets show our method can even outperform supervised methods.


翻译:监督的多视图立体器(MVS)方法在重建质量方面取得了显著进展,但在收集大规模地面真相深度方面遇到了挑战。 在本文中,我们提议为MVS建立一个基于知识蒸馏的新颖的自我监督培训管道,称为\ textit{KD-MVS},主要包括自我监督的教师培训和基于蒸馏的学生培训。具体地说,教师模式是使用光度和特征测量一致性的自监督方式培训的。然后,我们通过概率性知识转移,将教师模型的知识传给学生模型。在对经验证的知识的监督下,学生模型能够以大边缘优于教师。在多个数据集上进行的广泛实验显示,我们的方法甚至可以超越受监督的方法。

1
下载
关闭预览

相关内容

通过学习、实践或探索所获得的认识、判断或技能。
因果图,Causal Graphs,52页ppt
专知会员服务
253+阅读 · 2020年4月19日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
15+阅读 · 2021年8月5日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Top
微信扫码咨询专知VIP会员