Recent researchers have proposed using event cameras for person re-identification (ReID) due to their promising performance and better balance in terms of privacy protection, event camera-based person ReID has attracted significant attention. Currently, mainstream event-based person ReID algorithms primarily focus on fusing visible light and event stream, as well as preserving privacy. Although significant progress has been made, these methods are typically trained and evaluated on small-scale or simulated event camera datasets, making it difficult to assess their real identification performance and generalization ability. To address the issue of data scarcity, this paper introduces a large-scale RGB-event based person ReID dataset, called EvReID. The dataset contains 118,988 image pairs and covers 1200 pedestrian identities, with data collected across multiple seasons, scenes, and lighting conditions. We also evaluate 15 state-of-the-art person ReID algorithms, laying a solid foundation for future research in terms of both data and benchmarking. Based on our newly constructed dataset, this paper further proposes a pedestrian attribute-guided contrastive learning framework to enhance feature learning for person re-identification, termed TriPro-ReID. This framework not only effectively explores the visual features from both RGB frames and event streams, but also fully utilizes pedestrian attributes as mid-level semantic features. Extensive experiments on the EvReID dataset and MARS datasets fully validated the effectiveness of our proposed RGB-Event person ReID framework. The benchmark dataset and source code will be released on https://github.com/Event-AHU/Neuromorphic_ReID


翻译:近年来,研究者提出利用事件相机进行行人重识别(ReID),因其性能优异且在隐私保护方面更具平衡性,基于事件相机的行人重识别已引起广泛关注。目前,主流的事件行人重识别算法主要聚焦于融合可见光与事件流以及保护隐私。尽管已取得显著进展,但这些方法通常在小规模或模拟的事件相机数据集上进行训练与评估,难以衡量其实际识别性能与泛化能力。为应对数据稀缺问题,本文引入了一个大规模基于RGB-事件的行人重识别数据集,命名为EvReID。该数据集包含118,988个图像对,涵盖1200个行人身份,数据采集跨越多个季节、场景与光照条件。我们还评估了15种先进的行人重识别算法,为未来研究在数据与基准测试方面奠定了坚实基础。基于新构建的数据集,本文进一步提出了一种行人属性引导的对比学习框架,以增强行人重识别的特征学习,称为TriPro-ReID。该框架不仅有效探索了RGB帧与事件流的视觉特征,还充分利用了行人属性作为中层语义特征。在EvReID数据集与MARS数据集上的大量实验充分验证了我们提出的RGB-事件行人重识别框架的有效性。基准数据集与源代码将在https://github.com/Event-AHU/Neuromorphic_ReID发布。

0
下载
关闭预览

相关内容

国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员