Many works in the recent literature introduce semantic mapping methods that use CNNs (Convolutional Neural Networks) to recognize semantic properties in images. The types of properties (eg.: room size, place category, and objects) and their classes (eg.: kitchen and bathroom, for place category) are usually predefined and restricted to a specific task. Thus, all the visual data acquired and processed during the construction of the maps are lost and only the recognized semantic properties remain on the maps. In contrast, this work introduces a topological semantic mapping method that uses deep visual features extracted by a CNN (GoogLeNet), from 2D images captured in multiple views of the environment as the robot operates, to create, through averages, consolidated representations of the visual features acquired in the regions covered by each topological node. These representations allow flexible recognition of semantic properties of the regions and use in other visual tasks. Experiments with a real-world indoor dataset showed that the method is able to consolidate the visual features of regions and use them to recognize objects and place categories as semantic properties, and to indicate the topological location of images, with very promising results.


翻译:近期文献中的许多作品都引入了使用CNN(进化神经网络)来识别图像中的语义特征的语义绘图方法。性质类型(如:房间大小、位置类别和对象)及其类别(如:厨房和卫生间、地点类别)通常是预先定义的,并限于特定任务。因此,在绘制地图期间获得和处理的所有视觉数据都丢失了,只有公认的语义特性仍留在地图上。与此相反,这项工作引入了一种地形语义绘图方法,该方法使用CNN(GoogLeNet)从机器人操作时环境的多视图中采集的2D图像的深视特征,通过平均值,对每个语义节覆盖的区域所获取的视觉特征进行综合描述。这些表达方式允许灵活地识别各区域的语义特性,并在其他视觉任务中使用。与真实世界室内数据集的实验表明,该方法能够整合各区域的视觉特征,并使用它们来识别作为语义属性的物体和位置类别,并用非常有希望的结果来显示图像的地形位置。

0
下载
关闭预览

相关内容

Eurographics是唯一在欧洲范围内真正的专业计算机图形协会。它汇集了来自世界各地的图形专家,该协会支持其成员推进计算机图形学以及多媒体,科学可视化和人机界面等相关领域的最新技术水平。通过其全球成员资格,EG与美国,日本和其他国家/地区的发展保持着密切联系,从而促进了全球范围内科学技术信息和技能的交流。 官网地址:http://dblp.uni-trier.de/db/conf/eurographics/
专知会员服务
86+阅读 · 2021年1月7日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
【泡泡一分钟】用于视角可变重定位的语义地图构建
泡泡机器人SLAM
19+阅读 · 2019年10月21日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
carla 学习笔记
CreateAMind
9+阅读 · 2018年2月7日
【推荐】ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
机器学习研究会
20+阅读 · 2017年12月17日
LibRec 每周算法:DeepFM
LibRec智能推荐
14+阅读 · 2017年11月6日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Arxiv
7+阅读 · 2021年10月19日
VIP会员
相关资讯
【泡泡一分钟】用于视角可变重定位的语义地图构建
泡泡机器人SLAM
19+阅读 · 2019年10月21日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
carla 学习笔记
CreateAMind
9+阅读 · 2018年2月7日
【推荐】ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
机器学习研究会
20+阅读 · 2017年12月17日
LibRec 每周算法:DeepFM
LibRec智能推荐
14+阅读 · 2017年11月6日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Top
微信扫码咨询专知VIP会员