我们的目标是通过解决一个关键的局限性来重新定义鲁棒的自我运动估计和逼真的三维重建:现有模型对无噪声数据的依赖。尽管这种经过清理的数据简化了评估过程,但它们未能捕捉到现实环境中不可预测、嘈杂的复杂性。动态运动、传感器缺陷和同步误差在这些模型实际应用时会导致性能急剧下降,暴露出亟需能够应对并在现实世界噪声下表现优异的框架。为填补这一空白,我们解决了三个核心挑战:可扩展的数据生成、全面的基准测试和模型鲁棒性的提升。首先,我们提出了一种可扩展的噪声数据合成管道,生成模拟复杂运动、传感器缺陷和同步误差的多样化数据集。其次,我们利用这一管道创建了Robust-Ego3D,一个经过严格设计的基准,旨在揭示噪声引起的性能下降,突出当前基于学习的方法在自我运动精度和三维重建质量上的局限性。第三,我们提出了一种新的方法——基于对应引导的高斯溅射(CorrGS),通过将噪声观察与来自清洁三维地图的渲染RGB-D帧对齐,逐步完善内部的清洁三维表示,通过视觉对应提升几何对齐和外观恢复。通过在合成数据和真实世界数据上的广泛实验,结果表明,CorrGS在涉及快速运动和动态光照的场景中,始终优于现有的最新方法。

成为VIP会员查看完整内容
8

相关内容

【NeurIPS 2022】扩散模型的深度平衡方法
专知会员服务
40+阅读 · 2022年11月5日
【CVPR2022】带噪声标签的少样本学习
专知会员服务
42+阅读 · 2022年4月15日
专知会员服务
25+阅读 · 2021年6月15日
专知会员服务
31+阅读 · 2020年12月7日
【KDD2020】图神经网络生成式预训练
专知
23+阅读 · 2020年7月3日
无人机集群、蜂群与蜂群算法
无人机
94+阅读 · 2018年9月25日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
A Survey of Large Language Models
Arxiv
494+阅读 · 2023年3月31日
Arxiv
25+阅读 · 2023年3月17日
VIP会员
相关VIP内容
【NeurIPS 2022】扩散模型的深度平衡方法
专知会员服务
40+阅读 · 2022年11月5日
【CVPR2022】带噪声标签的少样本学习
专知会员服务
42+阅读 · 2022年4月15日
专知会员服务
25+阅读 · 2021年6月15日
专知会员服务
31+阅读 · 2020年12月7日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
相关论文
微信扫码咨询专知VIP会员