在本文中,我们探讨了一种主要方法,以提升广泛存在的粗略掩码的质量,使其能够作为可靠的训练数据,供分割模型使用,从而减少标注成本。与先前专门针对特定模型或任务的精细化技术不同,我们提出了SAMRefiner,这是一种通用且高效的方法,通过将SAM适配到掩码精细化任务中。我们模型的核心技术是噪声容忍的提示方案。具体而言,我们引入了一种多提示挖掘策略,从初始粗略掩码中挖掘出多样的输入提示,以供SAM使用(即,基于距离的点、上下文感知的弹性边界框和高斯风格的掩码)。这些提示可以相互协作,以减轻粗略掩码缺陷的影响。特别是考虑到SAM在处理语义分割中的多物体情形时的困难,我们引入了一个“拆分后合并”(STM)流程。此外,我们通过引入额外的IoU适配步骤,将我们的方法扩展为SAMRefiner++,进一步提升了通用SAMRefiner在目标数据集上的表现。这个步骤是自增强的,不需要额外的标注。所提出的框架具有高度的通用性,能够灵活地与现有的分割方法协作。我们在各种基准测试下评估了我们的掩码框架,在不同设置下展示了更好的准确性和效率。SAMRefiner具有显著的潜力,能够加速精细化工具的发展。我们的代码可在SAMRefiner上获取。

成为VIP会员查看完整内容
12

相关内容

【ICLR2025】DynaPrompt:动态测试时提示调优
专知会员服务
10+阅读 · 2月2日
【CVPR2024】SHiNe:用于开放词汇目标检测的语义层次枢纽
专知会员服务
14+阅读 · 2024年5月18日
【AAAI2023】用于图对比学习的谱特征增强
专知
20+阅读 · 2022年12月11日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
174+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
494+阅读 · 2023年3月31日
Arxiv
81+阅读 · 2023年3月26日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
相关论文
Arxiv
174+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
494+阅读 · 2023年3月31日
Arxiv
81+阅读 · 2023年3月26日
微信扫码咨询专知VIP会员