Traffic signboards are vital for road safety and intelligent transportation systems, enabling navigation and autonomous driving. Yet, recognizing traffic signs at night remains challenging due to visual noise and scarcity of public nighttime datasets. Despite advances in vision architectures, existing methods struggle with robustness under low illumination and fail to leverage complementary mutlimodal cues effectively. To overcome these limitations, firstly, we introduce INTSD, a large-scale dataset comprising street-level night-time images of traffic signboards collected across diverse regions of India. The dataset spans 41 traffic signboard classes captured under varying lighting and weather conditions, providing a comprehensive benchmark for both detection and classification tasks. To benchmark INTSD for night-time sign recognition, we conduct extensive evaluations using state-of-the-art detection and classification models. Secondly, we propose LENS-Net, which integrates an adaptive image enhancement detector for joint illumination correction and sign localization, followed by a structured multimodal CLIP-GCNN classifier that leverages cross-modal attention and graph-based reasoning for robust and semantically consistent recognition. Our method surpasses existing frameworks, with ablation studies confirming the effectiveness of its key components. The dataset and code for LENS-Net is publicly available for research.


翻译:交通标志牌对于道路安全和智能交通系统至关重要,能够支持导航与自动驾驶。然而,由于视觉噪声和公开夜间数据集的稀缺,夜间交通标志识别仍具挑战性。尽管视觉架构已取得进展,现有方法在低光照条件下的鲁棒性不足,且未能有效利用互补的多模态线索。为克服这些限制,首先,我们引入了INTSD,这是一个大规模数据集,包含在印度不同地区采集的街道级夜间交通标志牌图像。该数据集涵盖41类交通标志牌,在多种光照和天气条件下捕获,为检测和分类任务提供了全面的基准。为评估INTSD在夜间标志识别中的性能,我们使用最先进的检测和分类模型进行了广泛评估。其次,我们提出了LENS-Net,该网络集成了自适应图像增强检测器,用于联合光照校正和标志定位,随后采用结构化多模态CLIP-GCNN分类器,通过跨模态注意力和基于图的推理实现鲁棒且语义一致的识别。我们的方法超越了现有框架,消融研究证实了其关键组件的有效性。LENS-Net的数据集和代码已公开供研究使用。

0
下载
关闭预览

相关内容

国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员