High-definition (HD) maps are evolving from pre-annotated to real-time construction to better support autonomous driving in diverse scenarios. However, this process is hindered by low-quality input data caused by onboard sensors limited capability and frequent occlusions, leading to incomplete, noisy, or missing data, and thus reduced mapping accuracy and robustness. Recent efforts have introduced satellite images as auxiliary input, offering a stable, wide-area view to complement the limited ego perspective. However, satellite images in Bird's Eye View are often degraded by shadows and occlusions from vegetation and buildings. Prior methods using basic feature extraction and fusion remain ineffective. To address these challenges, we propose SATMapTR, a novel online map construction model that effectively fuses satellite image through two key components: (1) a gated feature refinement module that adaptively filters satellite image features by integrating high-level semantics with low-level structural cues to extract high signal-to-noise ratio map-relevant representations; and (2) a geometry-aware fusion module that consistently fuse satellite and BEV features at a grid-to-grid level, minimizing interference from irrelevant regions and low-quality inputs. Experimental results on the nuScenes dataset show that SATMapTR achieves the highest mean average precision (mAP) of 73.8, outperforming state-of-the-art satellite-enhanced models by up to 14.2 mAP. It also shows lower mAP degradation under adverse weather and sensor failures, and achieves nearly 3 times higher mAP at extended perception ranges.


翻译:高精地图正从预先标注向实时构建演进,以更好地支持自动驾驶在多样化场景中的应用。然而,这一过程受到车载传感器能力有限及频繁遮挡导致的输入数据质量低下的阻碍,造成数据不完整、噪声干扰或缺失,从而降低了建图的精度与鲁棒性。近期研究引入卫星图像作为辅助输入,其稳定的广域视角可弥补自车视角的局限。然而,鸟瞰视角下的卫星图像常因植被和建筑物的阴影与遮挡而质量下降。现有方法采用基础的特征提取与融合策略,效果仍不理想。为解决这些挑战,我们提出了SATMapTR,一种新颖的在线地图构建模型,通过两个关键组件有效融合卫星图像:(1)门控特征细化模块,通过融合高层语义与低层结构线索,自适应过滤卫星图像特征,以提取高信噪比的地图相关表征;(2)几何感知融合模块,在网格到网格的层级上一致地融合卫星图像与鸟瞰特征,最小化无关区域和低质量输入的干扰。在nuScenes数据集上的实验结果表明,SATMapTR取得了73.8的最高平均精度均值,较现有卫星增强模型提升高达14.2 mAP。在恶劣天气和传感器故障条件下,其mAP下降幅度更低,并在扩展感知范围内实现了近3倍的mAP提升。

0
下载
关闭预览

相关内容

Python图像处理,366页pdf,Image Operators Image Processing in Python
【NeurIPS2019】图变换网络:Graph Transformer Network
专知会员服务
112+阅读 · 2019年11月25日
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员