Recent advances in pre-trained language models (PLMs) have demonstrated their capabilities in capturing universal knowledge, making them promising applications for radar signal processing. Nevertheless, directly fine-tuning PLMs on radar signals is both computationally expensive and prone to overfitting, particularly in low signal-to-clutter ratio (SCR) environments. In this paper, we propose a novel fine-tuning framework for PLM-based marine radar target detection. First, we design a lightweight adaptation module, enabling parameter-efficient fine-tuning while preserving the pretrained model's general knowledge. Second, a novel preference-aware loss is developed to selectively optimize different feature patches based on their online evaluated learning values, guiding the model to concentrate on the most generalizable feature patterns during optimization. Extensive experiments on real-world marine radar datasets demonstrate that the proposed finetuning framework achieves an average performance improvement of 9.9% over the standard approach under low SCR conditions. Furthermore, the fine-tuned model, RadarPLM, consistently outperforms state-of-the-art detectors, particularly when training data are limited.


翻译:近年来,预训练语言模型(PLMs)在捕获通用知识方面展现出卓越能力,使其在雷达信号处理领域具有广阔应用前景。然而,直接在雷达信号上微调PLMs不仅计算成本高昂,且易导致过拟合,尤其在低信杂比(SCR)环境下更为突出。本文提出一种基于PLM的海洋雷达目标检测新型微调框架。首先,我们设计了一个轻量级自适应模块,在保留预训练模型通用知识的同时实现参数高效的微调。其次,开发了一种新颖的偏好感知损失函数,能够根据特征块在线评估的学习价值进行选择性优化,引导模型在优化过程中聚焦于最具泛化能力的特征模式。在真实海洋雷达数据集上的大量实验表明,所提出的微调框架在低SCR条件下相比标准方法平均性能提升9.9%。此外,微调后的模型RadarPLM持续优于现有最先进的检测器,在训练数据有限时表现尤为突出。

0
下载
关闭预览

相关内容

【CVPR2023】DynamicDet:目标检测的统一动态架构
专知会员服务
26+阅读 · 2023年4月15日
专知会员服务
38+阅读 · 2021年9月15日
CVPR 2019:精确目标检测的不确定边界框回归
AI科技评论
13+阅读 · 2019年9月16日
DeepMind:用PopArt进行多任务深度强化学习
论智
29+阅读 · 2018年9月14日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员