自主三维重建系统（A3DRS）能从一系列二维图像自动创建场景的三维模型，用于目标识别、机器人导航和环境地图绘制等任务。本文旨在建立一个完整的描述，包括实现A3DRS所需的所有算法流程和底层组件，以评估在任务规划和实地操作中使用此类系统的可行性、成熟度及可能成果。对A3DRS行为的分析基于在MATLAB中对算法进行建模和编码、在Simulink中模拟载具操作，以及在虚拟环境中生成数据。A3DRS的性能根据计算复杂度和输出质量进行评估。首先，通过单独的算法组件测试建立了参数配置的权衡空间。其次，研究了计算成本与重建密度之间的对等权衡。发现特征处理是A3DRS中最昂贵的因素。此外，在虚拟环境中的预测器训练会导致在非理想环境下操作时出现系统故障的风险。若没有海量数据采集以及人工智能与嵌入式计算机任务的集成，A3DRS无法为多样化应用生成令人满意的模型。本文的研究成果应作为开发用于深度估计、目标检测和三维结构生成的通用机器学习模型的基础。

本文的目的是确定使用来自单目相机或仅使用激光雷达（LiDAR）的图像和/或扫描数据集合，在三维空间中重建物体、室外环境和室内环境所需的流程和资源。这一系列流程有助于构建完整的系统描述，从而为军事部门提供关于这些系统如何在作战中获益的建议。该系统描述也为未来的实现系统奠定了基础，使得算法流程能够在真实硬件上实施。本论文还研究了机器学习和人工智能在场景理解中的应用——这对于从三维表示中进行目标和异常识别至关重要。

本论文的工作范围广泛而详尽。虽然大多数工作仅关注计算机视觉问题，但本工作考虑了自主三维重建系统的所有功能需求。首先，考虑了任务配置本身，包括载具类型、载具数量和机载传感器。然后，系统根据载具及其在无人干预下运行的原则进行分解。接着，系统 solely 专注于计算子系统。考虑了众多的算法子系统，从特征检测到从图像和扫描集合生成稠密模型。最后，工作将算法流程与其如何用于自主导航联系起来。

系统行为分析是在MathWorks提供的工具套件（一个工程和科学编程环境）中完成的。使用MATLAB语言对系统行为进行编码。使用Simulink在虚拟环境中对无人航空器（UAV）进行建模，使用户能够直接观察完整系统的行为。一个接口实现了Simulink与虚拟环境引擎Unreal Engine之间的连接。由于环境中的场景是预先校准的，可以从飞行中提取图像数据集和场景真实值（ground truth）数据。据此，可以对每种算法进行测试。依赖于图像属性的算法具有多个参数。构建了这些算法的模块化公式，以观察不同参数配置的效果。每个流程都独立进行了检验，并努力将每个流程集成到完整系统中。

系统性能的主要衡量指标是计算速度和质量，其中质量根据算法的不同可以有不同的含义。例如，运动估计算法根据其与已知真实系统轨迹的误差进行评估。发现哈里斯-斯蒂芬斯（Harris-Stephens）特征检测算法仅就特征检测而言是最优的，但与提取算法集成后发现，这并不自动保证它是完整系统的最佳算法。提取和匹配算法依赖于特征的质量，而不是检测到的兴趣点的数量。在重建流水线中越早提取到不良数据，系统后端可用的质量信息就越少。研究发现，运动估计算法依赖于系统的任务。例如，SLAM算法仅在重访环境中先前见过的位置时校正漂移。在非闭环操作中，应使用视觉里程计。研究还发现，最稠密的重建需要高保真度的深度信息，这必然要使用深度学习方法。最后，确定基于从重复观察到的图像属性中得出的启发式公式进行导航并不理想。这在由无人航空器（UAV）上的光流决策所引起的不稳定性中可见一斑。这里需要机器学习，因为需要高置信区间的真阳性障碍物检测。

本文的工作确立了几个观点。首先，系统的复杂性不能仅通过其有形属性的规模或应用范围来实现。显然，顺序算法和相互依赖的算法会迅速导致系统复杂性。基于视觉的算法也更难测试和验证，这进一步阻碍了它们在高风险任务领域的接受度。其次，发现基于用户的和模块化的算法测试程序更适用于快速系统架构设计和原型开发。考虑到计算机观察到的图像和像素数量，对算法参数设置进行全面测试将消耗巨大的内存。最后，本工作展示了系统设计者和利益相关者之间需要沟通的必要权衡。在工程研究中，存在一股持续推向“实时”系统的推力。然而，现有技术水平尚未表明此处提出的每种算法都能以实时逐帧的方式运行。

此项工作应在基于团队的实现中继续推进。需要机械和航空航天工程师来做出最优的载具配置决策和进行测试。需要计算机科学家为三维领域的场景理解进行人工智能模型架构设计。需要信息科学家对往返于异构载具和地面站的场景数据遥测进行标准化。系统工程师需要对复杂的计算系统，尤其是在涉及人工智能决策时，拥有更标准化的实践。所提出的算法应转移到支持并行计算的GPU硬件配置上。这是实现实时操作以及从低分辨率输入生成高质量三维模型的唯一途径。