本报告详细记录了美陆军战斗能力发展司令部陆军研究实验室与肯尼索州立大学为期三年合作研究的实施成果，重点探讨如何通过多模态数据融合技术提升复杂高危环境下人体状态推断的精准度。本研究项目在信号处理技术和机器学习算法方面取得重要突破，实现了对任务相关事件中人体状态的精准分类。项目成果包括七篇学术论文、完整数据集及代码库，其中最具代表性的创新是提出了"基于时序事件的多模态融合"框架，该框架显著提升了生理、行为与环境等多源数据流的整合效能。在实际驾驶实验验证中，该框架对陆军研究实验室定义事件的分类准确率获得显著提升。这些技术进展有力支撑了陆军研究实验室面向未来作战编组的人机集成研究任务。本项目还构建了具备多模态数据融合实践能力的跨学科团队。这种深度参与模式有效促进了学生向工业界和学术界的职业转型。本项目建立的跨学科研究生态系统，将推动陆军研究实验室在多模态机器学习与分类领域的战略布局。

项目开发

本研究的长远目标是开发一种稳健的方法，用于整合包括生理、行为和环境数据在内的多模态传感器集合，以实现对人与基于车辆的自动驾驶系统交互期间人体状态及认知的可靠推断。初期工作重点在于分析美国陆军研究实验室（ARL）在真实道路驾驶（RWD）实验中记录的纯人类数据。在项目初始年度，ARL与肯尼索州立大学（KSU）将通过以下两个具体目标协同开展研究：

1）建立并验证多模态方法，用于表征汽车内乘客状态与车辆性能特征及环境事件的函数关系。

2）开发机器学习算法，针对驾驶员及实时驾驶情境实现系统化、知情化的相关乘客状态分类。

在可选的后续年度中，初始计划聚焦于在第三年将成功成果扩展至多人员、多自主性场景。实现该目标的第一步将在项目第二年度通过驾驶员-乘客分析与分类工作展开，该分析将整合跨模态信息流，具体实施取决于获取INFORMS研究数据的合作机会。最终，前两年取得的成果将移交至ARL，其终极愿景是在2023财年INFORMS夏季研究中，利用多模态驾驶员-乘客算法构建用于检验驾驶员-炮手角色的作战想定。

根据初始预算，本项目原计划由一位在KSU玛丽埃塔校区的全职博士后研究员主导，并定期前往阿伯丁试验场（APG）。针对招聘过程中遇到的困难，我们制定了替代方案，依托于KSU的分层级学生团队：部分成员由大学资助担任助教，另部分通过ARL合同资金（按小时或津贴制）支持的研究生或本科生参与，还有少数本科生自愿投入时间精力以换取经验、教育和指导。

这项替代策略取得显著成效。在启动年度，团队协同执行新项目架构（见第3.1节），快速完成数据整合工作后按（修订）计划逐项落实目标。首先，团队建立了基于多模态数据表征道路驾驶过程中乘客状态的方法。正如后续章节将详述的，这些方法包括通过车载摄像头和座椅固定力传感器阵列获取头颈与身体姿态数据，以及通过体表测量获取脑电与心电活动信号。其次，机器学习应用实现了结合主观判断的相关乘客状态分类；例如，探究自我报告的信任度与脑诱发电位间的潜在关联。此后，第二年度工作致力于拓展初步脑电图（EEG）研究成果，提升单模态分类器的鲁棒性，并启动面向新型融合算法的多模态特征整合工作。该年度的核心目标是“通过创新融合算法整合第一年度识别的多模态特征，旨在基于‘人即传感器’与‘集体智慧’理念，实现跨驾驶员-乘客二人组的状态推断”。*

在最终年度，由于外部因素受安全政策调整影响（该政策规定了任何类型的陆军所属数据共享机制），INFORMS实验室数据不再可供分析。因此，原定从驾驶员-乘客模型向驾驶员-炮手模型的转型方案被替代，转而深化研究重心，全力构建并完善了一个集成化多模态融合框架。