你否愿意将数千人的生命押注在这样一个战略上——根据你所有的训练和经验衡量，该战略似乎注定会遭遇灾难性失败？

1863年，维克斯堡战役陷入僵局之际，尤利西斯·S·格兰特少将构思了一个计划，使得威廉·特库姆塞·谢尔曼少将预言其必将失败：田纳西军团将深入敌境，切断自身补给线，从后方攻击该城。谢尔曼本人并非军事庸才，他认为这个计划鲁莽至极——是“敌人会乐于用一年时间调动……以求将格兰特诱入”的陷阱。确实，它违背了当时所有强调安全补给线、安全作战基地和兵力集中的军事正统原则。格兰特反其道而行：他脱离后勤仓库，将军队行进于两股敌军之间，并试图在无保护撤退线路的情况下横渡密西西比河。但谢尔曼遵从了命令并完成了自己的部分。格兰特令人费解的计划成功了，维克斯堡陷落。

谢尔曼在维克斯堡所持的怀疑态度所体现的张力——即合理的传统评估与非传统、高风险但却卓越的方案之间的冲突——在现代战争中可能找到奇特的回响。先进人工智能很可能提出对指挥官而言如同格兰特计划对谢尔曼那样显得陌生的战略：不透明、反直觉，但却可能具有决定性。

这造成了一个人工智能-指挥困境，并引发了一个关键问题：当这些“外星先知（Alien Oracles）”的推理无法被完全理解时，军事领导人如何能对其建立合理的信任？这种对信任的挑战并非任意而为。它直接源于战略性创意人工智能的三个动态特性：战略敏锐度、人工智能创造力与可理解性之间的反比关系，以及可解释人工智能的局限性。

在某种程度上，本分析颠倒了先进人工智能在战争中所提出问题的方式。不去审视执行人类命令的致命性全自主人工智能代理所带来的困难，而是着重强调军事指挥官所面临的挑战——他们成为先进人工智能系统可能卓越但难以理解的战略的执行者。

战略敏锐度

人工智能辅助决策是未来战争不可避免的特征。由于机器人系统的普及以及网络战和电子战日益重要，现代战争中的军事行动正朝着速度更快、复杂性更高的方向发展——这些发展要求快速、协调的行动。要在此环境中保持竞争优势，先进人工智能系统应在战争的作战和战略层面影响指挥决策。为此，将被迫面对整合人工智能系统的前所未有的挑战，这些系统最具决定性的建议往往超乎人类的理解。

这一作战需求引出了第一条原则：先进人工智能系统将拥有高水平的战略敏锐度，能够形成极具创造性和效力的判断，这在某些复杂领域远超人类能力。先进人工智能卓越的战略判断力源于其基本的技术优势，使其能够以不同于——并在许多方面优于——人类认知的方式处理信息、学习和制定战略。虽然我们无法详尽阐述可能产生人工智能战略敏锐度的技术特征，但当前人工智能的两大属性值得提及。

首先，现代人工智能系统，特别是深度学习模型，具有大规模模式识别和计算深度。它们能够处理并识别海量数据集（例如，数百万次过去的兵棋推演、传感器数据流或历史场景）中复杂、细微的模式，使先进人工智能能够感知到人类无法察觉的复杂相互依赖关系和长期影响。正如一篇关于人工智能赋能战争的分析所言，这可以浮现出“远低于人类观察噪音水平”的信号。人工智能能够评估像围棋或国际象棋这类复杂游戏中数十亿步潜在走法，以无与伦比的深度和速度计算概率和结果，使其能够预见多步之后的战略优势。

其次，现代人工智能能够进行自监督学习和无约束探索。通过强化学习和自我对弈等技术，先进人工智能可以在无需人类指导甚至无需人类生成数据的情况下学习并优化策略。通过与自己反复对弈或在模拟环境中探索，它们探索问题空间，发现新颖的解决方案并优化策略，不受人类偏见或历史先例的约束。AlphaZero 通过数小时内在国际象棋、将棋和围棋中达到超人类水平，并发展出重新定义最优对局的创造性和非正统策略，证明了这一点。

可理解性与创造力的逆向关系

然而，这种敏锐度引发了第二条原则：人工智能战略判断的创造性和非显而易见程度，与其对人类指挥官的即时可理解性成反比。那些能够产生真正新颖且优越战略结果的机制，往往也使这些解决方案对人类的理解而言变得不透明。

与依赖习得和先天启发法（这容易产生偏见和其他功能障碍）的人类不同，先进的人工智能系统可以基于涌现的、超人类的启发法运作，这些启发法纯粹为性能而优化，而非为人类可解释性而设计。AlphaGo 对阵李世石的第37手完美地诠释了这一点：这步棋最初被人类围棋大师们斥为错误，违反了常规智慧，但最终被证明是具有战略关键性且正确的着法。这种反直觉优化的能力延伸至更复杂的战略领域，正如DeepMind的AlphaStar掌握《星际争霸II》时采用的被顶级人类玩家认为“难以想象地奇特”的策略所展示的那样。

习惯于基于熟悉公理、历史类比和清晰因果链进行解释的军事指挥官们，会发现这些高度优化的人工智能生成解决方案难以直观理解或信任。人工智能的“外星”逻辑与人类直觉之间的固有脱节意味着，随着人工智能在战略上变得更加精明和真正具有创新性，人类指挥官理解为何某个决策是最优的认知负担也会增加，并超出人类直觉理解的极限。

实际可解释性限制

鉴于其战略敏锐度以及人工智能创造力与人类可理解性之间的逆向关系，先进的人工智能系统在本质上将是不可解释的，无法在实时决策中向人类用户完全传达其基本理由。

要求对人工智能决策提供完全人类可理解的解释——尤其是对那些最具创造性的见解——面临着实际限制。驱动人工智能决策的复杂计算可能与人际可解释的逻辑不相容。人工智能可能会提供一个事后合理化的解释，这个解释看起来合理且令人安心，但可能与人工智能实际的计算路径相去甚远。正如父母可能会用一个关于圣诞老人和驯鹿的令人满意但不准确的故事向孩子解释礼物看似神奇的出现一样，人工智能可以为其决策生成一个人类可理解的解释——看似合理、令人安慰，但根本上与现实脱节——但这风险在于制造了一种理解的幻觉和错位的信心。

即使是善意的可解释人工智能框架也在努力应对这种固有的张力。尽管提供有意义的解释等目标至关重要，但核心挑战在于确保解释的准确性——即解释真实地反映了人工智能复杂的内部过程。对于先进、不透明的模型而言，验证这种准确性极其困难，甚至往往是不可能的，而且即使解释是准确的，人类也可能难以区分有效的解释与捏造的解释。此外，解释可能被操纵或过度简化，以可理解性为代价来换取保真度。在战时决策中，极端的时间压力和认知负荷使得对复杂人工智能解释进行破译或验证所需的详尽分析成为一个不切实际的目标。

管理人工智能-指挥困境

由于这些动态因素，指挥官将面临一个严峻的两难境地：接受并执行他们不完全理解或直觉上不信任的建议，或者拒绝这些判断并冒着被拥有人工智能支持的对手击败的风险。正如埃里克·林-格林伯格所指出的，那些“有效整合人工智能技术的军队将能更好地应对威胁，而那些允许人工智能阻碍决策和行动的军队可能会发现自己在战场上处于劣势”。未来的人工智能系统设计不仅要追求技术卓越，还要考虑人类在压力下的心理和决策过程。这意味着要设计能够管理风险、传达置信度水平，并在指挥官面对人工智能令人困惑的建议时支持其做出明智选择的人工智能。驾驭这种人工智能-指挥困境将是未来军事成功的核心。

因此，核心挑战在于：军队如何在缺乏可解释性的情况下对先进人工智能产生合理的信任？如果人工智能赋能战争的节奏如某些预测那样快速，人类在环监督将无法跟上事件发生的速率。对人工智能系统最具创造性的建议进行解释将难以——甚至不可能——快速验证。

因此，我们建议采用一种监督机制，该机制借鉴了经过时间检验的管理复杂高风险系统（如野战炮兵对射击数据进行独立验证）的军事原则。应用于人工智能领域，合理的信任可以通过验证多个独立开发的人工智能系统输出的一致性来产生，而非通过解释决策本身。我们提议用两个机器速度的“校准门限”来界定人类监督——共识校准与分歧校准——这样，只有通过独立交叉验证的人工智能输出才会呈送给指挥官，而结构化的分歧则作为触发人类干预的信号。简而言之：没有校准门限，在环监督就会沦落为要么对智能体输出橡皮图章式地批准，要么将其限制在人类速度——而这正是人工智能赋能战争设计所要摆脱的。

共识校准（集成学习的一个例子）使用多个独立的人工智能智能体（可能采用不同算法或训练数据）来分析同一问题。正如炮兵任务只有在独立计算的射击诸元在容差范围内匹配时才继续进行一样，当多样化的人工智能智能体汇聚于一致的输出时，一个人工智能解决方案就获得了合理的信任。

分歧校准类似于炮兵的射击校正过程，其中预期初始射弹会偏离目标，而其与目标的偏差为校正提供了必要信息。在炮兵射击中，精度并非通过假定首发命中来实现，而是通过观察误差、诊断其原因并迭代修正瞄准，直至置信度足够高时才进行效力射。同样，当多个人工智能智能体产生相互冲突的建议时，分歧本身就成为一个诊断信号：它揭示了隐藏的偏见、数据异常或不可预测的模型行为，这些都需要人类进行审查。信任并非源于对人工智能“思维”透明度的假设，而是源于可观察和可验证的收敛过程——在此过程中，分歧被有意地呈现、审视，并在决策执行前用于修正方向。在这两种情况下，单个人工智能的内部工作机制不如多智能体系统的可观察且可靠的效果重要：隐藏的错误和偏见通过分歧显现，只有经受住这种对抗性审查的建议才被信任并用于行动。

军队早已理解，信任是通过结果赢得的。格兰特大胆的维克斯堡战役对谢尔曼来说似乎鲁莽，但谢尔曼了解并信任他的上级。最具影响力的人工智能策略将经常违背人类逻辑。在这些不透明的“先知”身上培养合理信任的关键在于严格的校准和建立在经验基础上的信心，而非可解释性。要在未来复杂的战斗空间中获得决定性优势，必须开发校准方法，使指挥官能够自信且迅速地执行人工智能生成的计划，即使其背后的天才之处仍然是个谜。

参考来源：warontherocks