Humans naturally perceive a 3D scene in front of them through accumulation of information obtained from multiple interconnected projections of the scene and by interpreting their correspondence. This phenomenon has inspired artificial intelligence models to extract the depth and view angle of the observed scene by modeling the correspondence between different views of that scene. Our paper is built upon previous works in the field of unsupervised depth and relative camera pose estimation from temporal consecutive video frames using deep learning (DL) models. Our approach uses a hybrid learning framework introduced in a recent work called GeoNet, which leverages geometric constraints in the 3D scenes to synthesize a novel view from intermediate DL-based predicted depth and relative pose. However, the state-of-the-art unsupervised depth and pose estimation DL models are exclusively trained/tested on a few available outdoor scene datasets and we have shown they are hardly transferable to new scenes, especially from indoor environments, in which estimation requires higher precision and dealing with probable occlusions. This paper introduces "Indoor GeoNet", a weakly supervised depth and camera pose estimation model targeted for indoor scenes. In Indoor GeoNet, we take advantage of the availability of indoor RGBD datasets collected by human or robot navigators, and added partial (i.e. weak) supervision in depth training into the model. Experimental results showed that our model effectively generalizes to new scenes from different buildings. Indoor GeoNet demonstrated significant depth and pose estimation error reduction when compared to the original GeoNet, while showing 3 times more reconstruction accuracy in synthesizing novel views in indoor environments.


翻译:人类自然会看到前面的三维场景。 通过累积从多处相互关联的场景预测中获得的信息, 并解释他们的通信。 这种现象激励了人工智能模型, 以模拟不同场景之间的对等模式来提取所观测场景的深度和视角。 我们的论文建在以前在未经监督的深度和相对相机领域开展的工作的基础上, 利用深层次学习( DL) 模型从时间连续的视频框中做出估计。 我们的方法是使用一个名为 GeoNet 的近期工作中引入的混合学习框架, 它将3D 场景中的几何限制用于合成来自基于 DL 中级预测的深度和相对面的新型视图。 然而, 最先进的不受监督的深度和相对面的视野模型, 将最新的 DL 模型作为完全的训练/ 和估计 DL 模型 。 我们显示, 这些模型很难被转移到新的场景, 特别是室内环境, 需要更高的精确度, 并处理可能的闭路面。 本文介绍“ 内部地理网” 的原始观察深度和摄像模型是针对室内镜的模型。 在内部的深度中, 我们的深度的深度中, 展示了内部的深度中, 展示了内部的深度, 的深度, 展示了内部的深度, 展示了内部的深度,, 展示了对内部的深度的深度和实验, 我们的深度的深度, 展示, 展示的深度, 展示, 展示的深度是, 展示的深度, 展示, 展示的深度, 展示了 展示了 展示了 展示了人类的深度, 展示了人类的深度是, 展示了 的深度, 展示了, 的深度的深度, 展示了人类的深度, 的深度的深度是, 的深度是, 的深度, 的深度, 的深度, 的深度是, 的深度是, 的深度是,,,,, 的深度是,, 的深度是, 的深度是, 的深度是, 的深度是,,,, 的深度是, 的深度是, 的深度, 的深度是,, 展示了人类的深度,,,,,,,,,

0
下载
关闭预览

相关内容

100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
ICRA 2019 论文速览 | 基于Deep Learning 的SLAM
计算机视觉life
41+阅读 · 2019年7月22日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
【泡泡一分钟】用于平面环境的线性RGBD-SLAM
泡泡机器人SLAM
6+阅读 · 2018年12月18日
VIP会员
相关资讯
ICRA 2019 论文速览 | 基于Deep Learning 的SLAM
计算机视觉life
41+阅读 · 2019年7月22日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
【泡泡一分钟】用于平面环境的线性RGBD-SLAM
泡泡机器人SLAM
6+阅读 · 2018年12月18日
Top
微信扫码咨询专知VIP会员