Localizing a person from a moving monocular camera is critical for Human-Robot Interaction (HRI). To estimate the 3D human position from a 2D image, existing methods either depend on the geometric assumption of a fixed camera or use a position regression model trained on datasets containing little camera ego-motion. These methods are vulnerable to severe camera ego-motion, resulting in inaccurate person localization. We consider person localization as a part of a pose estimation problem. By representing a human with a four-point model, our method jointly estimates the 2D camera attitude and the person's 3D location through optimization. Evaluations on both public datasets and real robot experiments demonstrate our method outperforms baselines in person localization accuracy. Our method is further implemented into a person-following system and deployed on an agile quadruped robot.


翻译:从移动的单目相机中定位人体对于人机交互至关重要。为了从二维图像估计人体的三维位置,现有方法要么依赖于固定相机的几何假设,要么使用在包含极少相机自运动的数据集上训练的位置回归模型。这些方法在面对剧烈的相机自运动时表现脆弱,导致人体定位不准确。我们将人体定位视为姿态估计问题的一部分。通过使用四点模型表示人体,我们的方法通过优化联合估计相机的二维姿态与人体的三维位置。在公开数据集和真实机器人实验上的评估表明,我们的方法在人体定位精度上优于基线方法。该方法进一步被实现为人体跟随系统,并部署在一台灵巧的四足机器人上。

0
下载
关闭预览

相关内容

数据集,又称为资料集、数据集合或资料集合,是一种由数据所组成的集合。
Data set(或dataset)是一个数据的集合,通常以表格形式出现。每一列代表一个特定变量。每一行都对应于某一成员的数据集的问题。它列出的价值观为每一个变量,如身高和体重的一个物体或价值的随机数。每个数值被称为数据资料。对应于行数,该数据集的数据可能包括一个或多个成员。
【KDD2023】半监督图不平衡回归
专知会员服务
26+阅读 · 2023年5月24日
MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
18+阅读 · 2021年5月3日
专知会员服务
20+阅读 · 2021年3月18日
SkeletonNet:完整的人体三维位姿重建方法
计算机视觉life
21+阅读 · 2019年1月21日
干货——图像分类(下)
计算机视觉战队
14+阅读 · 2018年8月28日
论文笔记之Feature Selective Networks for Object Detection
统计学习与视觉计算组
21+阅读 · 2018年7月26日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 11月20日
VIP会员
相关VIP内容
【KDD2023】半监督图不平衡回归
专知会员服务
26+阅读 · 2023年5月24日
MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
18+阅读 · 2021年5月3日
专知会员服务
20+阅读 · 2021年3月18日
相关资讯
SkeletonNet:完整的人体三维位姿重建方法
计算机视觉life
21+阅读 · 2019年1月21日
干货——图像分类(下)
计算机视觉战队
14+阅读 · 2018年8月28日
论文笔记之Feature Selective Networks for Object Detection
统计学习与视觉计算组
21+阅读 · 2018年7月26日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员