In image fusion tasks, the absence of real fused images as priors forces most deep learning approaches to rely on large-scale paired datasets to extract global weighting features or to generate pseudo-supervised images through algorithmic constructions. Unlike previous methods, this work re-examines prior-guided learning under few-shot conditions by introducing rough set theory. We regard the traditional algorithm as a prior generator, while the network re-inferrs and adaptively optimizes the prior through a dynamic loss function, reducing the inference burden of the network and enabling effective few-shot learning.To provide the prior, we propose the Granular Ball Pixel Computation (GBPC) algorithm. GBPC models pixel pairs in a luminance subspace using meta-granular balls and mines intra-ball information at multiple granular levels. At the fine-grained level, sliding granular balls assign adaptive weights to individual pixels to produce pixel-level prior fusion. At the coarse-grained level, the algorithm performs split computation within a single image to estimate positive and boundary domain distributions, enabling modality awareness and prior confidence estimation, which dynamically guide the loss weighting.The network and the algorithmic prior are coupled through the loss function to form an integrated framework. Thanks to the dynamic weighting mechanism, the network can adaptively adjust to different priors during training, enhancing its perception and fusion capability across modalities. We name this framework GBFF (Granular Ball Fusion Framework). Experiments on four fusion tasks demonstrate that even with only ten training image pairs per task, GBFF achieves superior performance in both visual quality and model compactness. Code is available at: https://github.com/DMinjie/GBFF


翻译:在图像融合任务中,由于缺乏真实融合图像作为先验,大多数深度学习方法依赖大规模配对数据集来提取全局加权特征,或通过算法构造生成伪监督图像。与先前方法不同,本研究通过引入粗糙集理论,重新审视少样本条件下的先验引导学习。我们将传统算法视为先验生成器,而网络通过动态损失函数重新推断并自适应优化先验,从而减轻网络推理负担,实现有效的少样本学习。为提供先验,我们提出粒度球像素计算(GBPC)算法。GBPC在亮度子空间中使用元粒度球对像素对建模,并在多粒度层次挖掘球内信息。在细粒度层面,滑动粒度球为单个像素分配自适应权重,生成像素级先验融合;在粗粒度层面,算法在单幅图像内执行分割计算以估计正域和边界域分布,实现模态感知和先验置信度估计,从而动态指导损失加权。网络与算法先验通过损失函数耦合,形成统一框架。得益于动态加权机制,网络在训练过程中能自适应调整不同先验,增强跨模态感知与融合能力。我们将该框架命名为GBFF(粒度球融合框架)。在四种融合任务上的实验表明,即使每任务仅使用十对训练图像,GBFF在视觉质量和模型紧凑性方面均取得优越性能。代码发布于:https://github.com/DMinjie/GBFF

0
下载
关闭预览

相关内容

【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
22+阅读 · 2023年5月10日
【CVPR2022】MSDN: 零样本学习的互语义蒸馏网络
专知会员服务
21+阅读 · 2022年3月8日
【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员