Improving the quality of hyperspectral images (HSIs), such as through super-resolution, is a crucial research area. However, generative modeling for HSIs presents several challenges. Due to their high spectral dimensionality, HSIs are too memory-intensive for direct input into conventional diffusion models. Furthermore, general generative models lack an understanding of the topological and geometric structures of ground objects in remote sensing imagery. In addition, most diffusion models optimize loss functions at the noise level, leading to a non-intuitive convergence behavior and suboptimal generation quality for complex data. To address these challenges, we propose a Geometric Enhanced Wavelet-based Diffusion Model (GEWDiff), a novel framework for reconstructing hyperspectral images at 4-times super-resolution. A wavelet-based encoder-decoder is introduced that efficiently compresses HSIs into a latent space while preserving spectral-spatial information. To avoid distortion during generation, we incorporate a geometry-enhanced diffusion process that preserves the geometric features. Furthermore, a multi-level loss function was designed to guide the diffusion process, promoting stable convergence and improved reconstruction fidelity. Our model demonstrated state-of-the-art results across multiple dimensions, including fidelity, spectral accuracy, visual realism, and clarity.


翻译:提升高光谱图像(HSIs)的质量(例如通过超分辨率)是一个关键的研究领域。然而,针对HSIs的生成建模面临若干挑战。由于其高光谱维度,HSIs内存占用过大,无法直接输入到传统的扩散模型中。此外,通用生成模型缺乏对遥感影像中地物拓扑与几何结构的理解。同时,大多数扩散模型在噪声级别优化损失函数,导致收敛行为不直观,对复杂数据的生成质量欠佳。为应对这些挑战,我们提出了一种基于几何增强小波的扩散模型(GEWDiff),这是一个用于实现4倍超分辨率重建高光谱图像的新颖框架。我们引入了一种基于小波的编码器-解码器,能够高效地将HSIs压缩到潜在空间,同时保留光谱-空间信息。为避免生成过程中的失真,我们整合了一个几何增强的扩散过程,以保持几何特征。此外,设计了一个多级损失函数来指导扩散过程,促进稳定收敛并提升重建保真度。我们的模型在多个维度上展示了最先进的结果,包括保真度、光谱精度、视觉真实感与清晰度。

0
下载
关闭预览

相关内容

Python图像处理,366页pdf,Image Operators Image Processing in Python
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员