Interactive image segmentation(IIS) plays a critical role in generating precise annotations for remote sensing imagery, where objects often exhibit scale variations, irregular boundaries and complex backgrounds. However, existing IIS methods, primarily designed for natural images, struggle to generalize to remote sensing domains due to limited annotated data and computational overhead. To address these challenges, we proposed RS-ISRefiner, a novel click-based IIS framework tailored for remote sensing images. The framework employs an adapter-based tuning strategy that preserves the general representations of Vision Foundation Models while enabling efficient learning of remote sensing-specific spatial and boundary characteristics. A hybrid attention mechanism integrating convolutional local modeling with Transformer-based global reasoning enhances robustness against scale diversity and scene complexity. Furthermore, an improved probability map modulation scheme effectively incorporates historical user interactions, yielding more stable iterative refinement and higher boundary fidelity. Comprehensive experiments on six remote sensing datasets, including iSAID, ISPRS Potsdam, SandBar, NWPU, LoveDA Urban and WHUBuilding, demonstrate that RS-ISRefiner consistently outperforms state-of-the-art IIS methods in terms of segmentation accuracy, efficiency and interaction cost. These results confirm the effectiveness and generalizability of our framework, making it highly suitable for high-quality instance segmentation in practical remote sensing scenarios.


翻译:交互式图像分割在遥感影像精确标注中具有关键作用,因为遥感目标通常存在尺度变化、边界不规则和背景复杂等特性。然而,现有主要针对自然图像设计的交互式分割方法,由于标注数据有限和计算开销较大,难以泛化至遥感领域。为应对这些挑战,我们提出了RS-ISRefiner——一种专为遥感图像设计的基于点击交互的新型交互式分割框架。该框架采用基于适配器的调优策略,在保持视觉基础模型通用表征能力的同时,高效学习遥感场景特有的空间与边界特征。通过融合卷积局部建模与基于Transformer的全局推理的混合注意力机制,增强了对尺度多样性和场景复杂性的鲁棒性。此外,改进的概率图调制方案能有效整合历史用户交互信息,实现更稳定的迭代优化和更高的边界保真度。在iSAID、ISPRS Potsdam、SandBar、NWPU、LoveDA Urban和WHUBuilding等六个遥感数据集上的综合实验表明,RS-ISRefiner在分割精度、计算效率和交互成本方面均持续优于当前最先进的交互式分割方法。这些结果验证了我们框架的有效性和泛化能力,使其非常适用于实际遥感场景中的高质量实例分割任务。

0
下载
关闭预览

相关内容

MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
18+阅读 · 2021年5月3日
【CVPR 2021】变换器跟踪TransT: Transformer Tracking
专知会员服务
22+阅读 · 2021年4月20日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员