Under extreme low-light conditions, frame-based cameras suffer from severe detail loss due to limited dynamic range. Recent studies have introduced event cameras for event-guided low-light image enhancement. However, existing approaches often overlook the flickering artifacts and structural discontinuities caused by dynamic illumination changes and event sparsity. To address these challenges, we propose BiLIE, a Bidirectional image-event guided fusion framework for Low-Light Image Enhancement, which achieves mutual guidance and complementary enhancement between the two modalities. First, to highlight edge details, we develop a Dynamic Adaptive Filtering Enhancement (DAFE) module that performs adaptive high-pass filtering on event representations to suppress flickering artifacts and preserve high-frequency information under varying illumination. Subsequently, we design a Bidirectional Guided Awareness Fusion (BGAF) mechanism, which achieves breakpoint-aware restoration from images to events and structure-aware enhancement from events to images through a two-stage attention mechanism, establishing cross-modal consistency, thereby producing a clear, smooth, and structurally intact fused representation. Moreover, recognizing that existing datasets exhibit insufficient ground-truth fidelity and color accuracy, we construct a high-quality low-light image-event dataset (RELIE) via a reliable ground truth refinement scheme. Extensive experiments demonstrate that our method outperforms existing approaches on both the RELIE and LIE datasets. Notably, on RELIE, BiLIE exceeds the state-of-the-art by 0.81dB in PSNR and shows significant advantages in edge restoration, color fidelity, and noise suppression.


翻译:在极端低光照条件下,基于帧的相机因动态范围受限而遭受严重的细节损失。近期研究引入了事件相机用于事件引导的低光照图像增强。然而,现有方法常忽略由动态光照变化和事件稀疏性引起的闪烁伪影与结构不连续问题。为应对这些挑战,我们提出BiLIE——一种用于低光照图像增强的双向图像-事件引导融合框架,实现了两种模态间的相互引导与互补增强。首先,为突出边缘细节,我们开发了动态自适应滤波增强(DAFE)模块,该模块对事件表征执行自适应高通滤波,以抑制闪烁伪影并在变化光照下保留高频信息。随后,我们设计了双向引导感知融合(BGAF)机制,通过两阶段注意力机制实现从图像到事件的断点感知修复,以及从事件到图像的结构感知增强,从而建立跨模态一致性,生成清晰、平滑且结构完整的融合表征。此外,针对现有数据集真实标注保真度与色彩准确性不足的问题,我们通过可靠的标注精修方案构建了高质量的低光照图像-事件数据集(RELIE)。大量实验表明,我们的方法在RELIE和LIE数据集上均优于现有方法。值得注意的是,在RELIE数据集上,BiLIE的峰值信噪比(PSNR)较当前最优方法提升0.81dB,并在边缘修复、色彩保真与噪声抑制方面展现出显著优势。

0
下载
关闭预览

相关内容

【CVPR2024】ViewDiff: 3D一致的图像生成与文本到图像模型
专知会员服务
30+阅读 · 2024年3月10日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员