Real-time imaging sonar is crucial for underwater monitoring where optical sensing fails, but its use is limited by low uplink bandwidth and severe sonar-specific artifacts (speckle, motion blur, reverberation, acoustic shadows) affecting up to 98% of frames. We present SCOPE, a self-supervised framework that jointly performs compression and artifact correction without clean-noise pairs or synthetic assumptions. SCOPE combines (i) Adaptive Codebook Compression (ACC), which learns frequency-encoded latent representations tailored to sonar, with (ii) Frequency-Aware Multiscale Segmentation (FAMS), which decomposes frames into low-frequency structure and sparse high-frequency dynamics while suppressing rapidly fluctuating artifacts. A hedging training strategy further guides frequency-aware learning using low-pass proxy pairs generated without labels. Evaluated on months of in-situ ARIS sonar data, SCOPE achieves a structural similarity index (SSIM) of 0.77, representing a 40% improvement over prior self-supervised denoising baselines, at bitrates down to <= 0.0118 bpp. It reduces uplink bandwidth by more than 80% while improving downstream detection. The system runs in real time, with 3.1 ms encoding on an embedded GPU and 97 ms full multi-layer decoding on the server end. SCOPE has been deployed for months in three Pacific Northwest rivers to support real-time salmon enumeration and environmental monitoring in the wild. Results demonstrate that learning frequency-structured latents enables practical, low-bitrate sonar streaming with preserved signal details under real-world deployment conditions.


翻译:实时成像声呐在光学传感失效的水下监测中至关重要,但其应用受到上行链路带宽低和严重声呐特有伪影(散斑、运动模糊、混响、声学阴影)的限制,这些伪影影响高达98%的帧。我们提出了SCOPE,一种自监督框架,无需干净-噪声配对数据或合成假设,即可联合执行压缩与伪影校正。SCOPE结合了(i)自适应码本压缩(ACC),该方法学习针对声呐定制的频率编码潜在表示,以及(ii)频率感知多尺度分割(FAMS),该方法将帧分解为低频结构和稀疏高频动态,同时抑制快速波动的伪影。一种对冲训练策略进一步利用无标签生成的低通代理对来指导频率感知学习。在数月的现场ARIS声呐数据上评估,SCOPE在比特率低至≤0.0118 bpp时实现了0.77的结构相似性指数(SSIM),相比先前的自监督去噪基线提升了40%。它将上行链路带宽降低了80%以上,同时提升了下游检测性能。该系统可实时运行,在嵌入式GPU上编码时间为3.1毫秒,在服务器端完成全多层解码时间为97毫秒。SCOPE已在太平洋西北地区的三条河流中部署数月,用于支持野外实时鲑鱼计数和环境监测。结果表明,学习频率结构化的潜在表示能够在实际部署条件下实现实用、低比特率的声呐流式传输,同时保留信号细节。

0
下载
关闭预览

相关内容

【CVPR2022】EDTER:基于Transformer的边缘检测(CVPR2022)
专知会员服务
33+阅读 · 2022年3月18日
使用RNN-Transducer进行语音识别建模【附PPT与视频资料】
人工智能前沿讲习班
74+阅读 · 2019年1月29日
论文笔记之Feature Selective Networks for Object Detection
统计学习与视觉计算组
21+阅读 · 2018年7月26日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员