With the rapid advancement of the digital society, the proliferation of satellites in the Satellite Internet of Things (Sat-IoT) has led to the continuous accumulation of large-scale multi-temporal and multi-source images across diverse application scenarios. However, existing methods fail to fully exploit the complementary information embedded in both temporal and source dimensions. For example, Multi-Image Super-Resolution (MISR) enhances reconstruction quality by leveraging temporal complementarity across multiple observations, yet the limited fine-grained texture details in input images constrain its performance. Conversely, pansharpening integrates multi-source images by injecting high-frequency spatial information from panchromatic data, but typically relies on pre-interpolated low-resolution inputs and assumes noise-free alignment, making it highly sensitive to noise and misregistration. To address these issues, we propose SatFusion: A Unified Framework for Enhancing Satellite IoT Images via Multi-Temporal and Multi-Source Data Fusion. Specifically, SatFusion first employs a Multi-Temporal Image Fusion (MTIF) module to achieve deep feature alignment with the panchromatic image. Then, a Multi-Source Image Fusion (MSIF) module injects fine-grained texture information from the panchromatic data. Finally, a Fusion Composition module adaptively integrates the complementary advantages of both modalities while dynamically refining spectral consistency, supervised by a weighted combination of multiple loss functions. Extensive experiments on the WorldStrat, WV3, QB, and GF2 datasets demonstrate that SatFusion significantly improves fusion quality, robustness under challenging conditions, and generalizability to real-world Sat-IoT scenarios. The code is available at: https://github.com/dllgyufei/SatFusion.git.


翻译:随着数字社会的快速发展,卫星物联网(Sat-IoT)中卫星的激增导致在不同应用场景下大规模多时相、多源图像持续积累。然而,现有方法未能充分利用嵌入在时间维度和来源维度中的互补信息。例如,多图像超分辨率(MISR)通过利用多次观测间的时相互补性来提升重建质量,但输入图像中有限的细粒度纹理细节制约了其性能。相反,全色锐化通过注入来自全色数据的高频空间信息来融合多源图像,但通常依赖于预插值的低分辨率输入并假设无噪声对齐,使其对噪声和配准误差高度敏感。为解决这些问题,我们提出了SatFusion:一种通过多时相与多源数据融合增强卫星物联网图像的统一框架。具体而言,SatFusion首先采用多时相图像融合(MTIF)模块实现与全色图像的深度特征对齐。随后,一个多源图像融合(MSIF)模块从全色数据中注入细粒度纹理信息。最后,一个融合组合模块自适应地整合两种模态的互补优势,同时在多种损失函数的加权组合监督下动态优化光谱一致性。在WorldStrat、WV3、QB和GF2数据集上的大量实验表明,SatFusion显著提升了融合质量、在挑战性条件下的鲁棒性以及对真实世界Sat-IoT场景的泛化能力。代码发布于:https://github.com/dllgyufei/SatFusion.git。

0
下载
关闭预览

相关内容

国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员