Identifying oculomotor behaviors relevant for eye-tracking applications is a critical but often challenging task. Aiming to automatically learn and extract knowledge from existing eye-tracking data, we develop a novel method that creates rich representations of oculomotor scanpaths to facilitate the learning of downstream tasks. The proposed stimulus-agnostic Oculomotor Behavior Framework (OBF) model learns human oculomotor behaviors from unsupervised and semi-supervised tasks, including reconstruction, predictive coding, fixation identification, and contrastive learning tasks. The resultant pre-trained OBF model can be used in a variety of applications. Our pre-trained model outperforms baseline approaches and traditional scanpath methods in autism spectrum disorder and viewed-stimulus classification tasks. Ablation experiments further show our proposed method could achieve even better results with larger model sizes and more diverse eye-tracking training datasets, supporting the model's potential for future eye-tracking applications. Open source code: http://github.com/BeibinLi/OBF.


翻译:确定与眼睛跟踪应用相关的阴极运动行为是一项关键但往往具有挑战性的任务。为了自动学习和从现有眼睛跟踪数据中提取知识,我们开发了一种新颖的方法,建立丰富的八极运动扫描路径表,以便利学习下游任务。拟议的刺激-人工运动行为框架模型从未经监督和半监督的任务中学习人类的阴极运动行为,包括重建、预测编码、固定识别和对比性学习任务。由此产生的预先训练的OBF模型可用于多种应用。我们预先培训的模型超越了自闭症谱系障碍和视觉刺激分类任务中的基线方法和传统扫描病方法。减缩实验进一步表明,我们拟议的方法可以以更大的模型规模和更加多样化的目跟踪培训数据集取得更好的结果,支持模型今后的眼睛跟踪应用的潜力。开放源代码:http://github.com/BeibinLi/OBF。

0
下载
关闭预览

相关内容

Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年10月8日
Arxiv
5+阅读 · 2021年2月8日
Learning Recommender Systems from Multi-Behavior Data
VIP会员
相关VIP内容
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员