Person detection in overhead fisheye images is challenging due to person rotation and small persons. Prior work has mainly addressed person rotation, leaving the small-person problem underexplored. We remap fisheye images to equirectangular panoramas to handle rotation and exploit panoramic geometry to handle small persons more effectively. Conventional detection methods tend to favor larger persons because they dominate the attention maps, causing smaller persons to be missed. In hemispherical equirectangular panoramas, we find that apparent person height decreases approximately linearly with the vertical angle near the top of the image. Using this finding, we introduce panoramic distortion-aware tokenization to enhance the detection of small persons. This tokenization procedure divides panoramic features using self-similar figures that enable the determination of optimal divisions without gaps, and we leverage the maximum significance values in each tile of the token groups to preserve the significance areas of smaller persons. We propose a transformer-based person detection and localization method that combines panoramic-image remapping and the tokenization procedure. Extensive experiments demonstrated that our method outperforms conventional methods on large-scale datasets.


翻译:在鱼眼俯视图像中进行人员检测面临人员旋转和小尺寸人员的挑战。先前的研究主要解决了人员旋转问题,而对小尺寸人员问题的探索不足。我们将鱼眼图像重映射为等距柱状全景图以处理旋转,并利用全景几何更有效地处理小尺寸人员。传统检测方法往往偏向较大尺寸人员,因为它们主导注意力图,导致较小人员被遗漏。在半球形等距柱状全景图中,我们发现人员表观高度在图像顶部附近随垂直角度近似线性减小。基于这一发现,我们引入了全景畸变感知分词以增强小尺寸人员的检测。该分词过程使用自相似图形划分全景特征,从而能够无间隙地确定最优划分,并利用分词组每个图块中的最大显著性值来保留较小人员的显著性区域。我们提出了一种基于Transformer的人员检测与定位方法,该方法结合了全景图像重映射和分词过程。大量实验表明,我们的方法在大规模数据集上优于传统方法。

0
下载
关闭预览

相关内容

将一个汉字序列切分成一个一个单独的词
【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
22+阅读 · 2023年5月10日
【AAAI2021】RSPNet: 相对速度感知的无监督视频表示学习
专知会员服务
19+阅读 · 2021年2月12日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员