来源:云智防务公众号

人工智能(AI)在自动目标识别(ATR)中的运用,优化了对持久威胁的军事预言,同时开脱了出于政治倾向进行的“永久”战争追索。因此,AI在数据中心化战争中所提供的功能,不仅符合军事需求,而且日益符合政府指令以及国家安全的零和博弈。本文提出,自2023年10月以来(且自2021年起便在当地使用)由以色列国防军(IDF)在加沙部署的“福音”(Habsora)和“薰衣草”(Lavender)等ATR系统中AI的使用,展示了这些始终致命的科技-政治和死亡政治的联合。尽管人们常以之否认杀戮的自动化原型在当代战争中已成为普遍现实,但我将考察,那些名义上与所谓“人在回路中”(HITL)防御相关联的保障措施,实际上只不过是一种方便的谬误。因此,现代战争中浮现出一个严峻现实:通过使用ATR以及更广义的自动武器系统(AWS),AI正在可靠地为实施大规模杀戮方法提供托辞,却并未因此激起任何实质性的政治谴责或法律问责。

所谓“人在回路中”(HITL)操作员的介入,通常被认为能有效平衡人工智能(AI)在自动目标识别(ATR)中不透明使用的问题。对HITL条款能力的信念,建立在将人类监督视为一种节制性影响力的论点之上。然而,那种认为部署HITL就能补救或透明化无问责装置通常造成致命后果的计算的观点,需要予以质疑:作为ATR发展的一个关键驱动因素,AI在设计或发展过程中,从未旨在以某种除了例行公事式(若非老套)干预模式以外的方式容纳监督。为了追求更好的预测模型,并且如其控制论起源所证明的那样,AI的操作模式历来就专注于自动化和日益自主的决策系统。在多领域和多维度战争时代,对加速决策形式的需求进一步助长了人类在ATR中参与度的降级(若非完全消失)。作为一种通过预测威胁来发动战争的框架,以及作为一种消除风险的手段,总而言之,AI在对所谓“永久”战争的追索中已变得举足轻重,却并未引来相应程度的政治监督或法律问责。

正是在这一背景下,那些在很大程度上被遮蔽且不透明的、支撑着数据中心的算法化战争发展的过程,实质上将程序员兼操作员降格为多机构网络化装置中的一个附属代理。因此,当代战争中浮现出一个严峻现实:所谓“人在回路中”(HITL)保障措施,被一再抛出用以否认死亡自动化范式已是普遍事实的真相,而它只不过是一种方便的谬误,其存续部分得益于无效的立法框架。这一切引出了一个疑问:如果人类操作员作为一种真正解围之神力量的愿景——即代表着明智且无偏见节制的存在——已沦为一种旨在反击全机械化灭绝方法指控的自利辩护,那么HITL的整体逻辑是否已然成为实施大规模杀戮方法的事实托辞?

如果我们考察以色列国防军(IDF)自2023年10月以来在加沙部署ATR的情况,这里表达的担忧既非抽象也非臆测。尽管这不是已知其在当地首次使用该技术,但调查记者兼电影制作人尤瓦尔·亚伯拉罕(Yuval Abraham)于2023年11月30日发表的一篇广为人知的文章令人信服地论证,AI驱动的ATR系统的实施,不仅在加沙确立了一种前所未有的轰炸强度,而且是无差别进行的。通过采访以色列情报界现任和前任成员(包括军事和空军人员)、收集众多巴勒斯坦证词、来自加沙地带的文件、以色列国防军发言人的官方声明,以及以色列国家机构代表的陈述,亚伯拉罕的文章提供了来自多位对ATR系统有第一手知识的消息源的可信见解。在哈马斯于2023年10月7日袭击以色列之后,亚伯拉罕得出结论,ATR中广泛实施的AI确保了以军能够“生成比以往任何时候都更多的潜在目标”,这恰如其分地导致军队显著扩大了对“性质不明确军事目标”的轰炸(亚伯拉罕 2023。着重号为作者所加)。

除了引发关于潜在法律追诉的问题之外,无差别摧毁非军事目标的后果确保了:自2023年10月以来,在加沙部署AI驱动的ATR模型不仅扩展了“目标”一词的指定范围,还自动化了大规模杀戮的过程,其代价是任何接近实质性的人为干预。为了证实后一点,我将详述:在ATR背景下,(i) AI的运作能动力(operational agency)——其决定性的、目的明确的逻辑——如何模糊了人类输入:AI基于过去的行为序列,递归地合理化历史数据中的模式,以自主地投射看似必然的威胁——无论这种威胁是真实的,还是计算机制造的(唐尼 2024a)。凭借自主处理数据以召唤威胁的能力,AI不仅调节并削弱了人类输入,它还相应地提供了一个借口(在加沙已被见证),用以非人化“目标”。在将人简化为统计学合理化的数据(一个激起“数字化非人化”模型的模式)的情况下,发动战争所需的装置,正如我们将看到的,可同时成为为参与现代冲突“杀伤链”的任何人开脱责任的工具。正是从这一模式中,我们可以更充分地理解AI的使用在何种程度上已成为——我将提出——大规模杀戮与破坏的相伴托辞。

通过界定AI增强型瞄准系统的运作能动力(operational agency)或代理力(agentic force),我们进而可以确定(ii) “自动化偏见”(automation bias)在人类输入相对于ATR模型地位变化中的关键作用。此处用于描述对机械计算何谓目标的冲动性顺从,“自动化偏见”长期以来一直是机械化战争的一个特征。该术语意味着,批判性思维和人类输入在自动化系统中的减少会导致自满。鉴于自动化广义上定义了一个封闭且自足的系统,操作员在时间压力和其他因素下越来越顺从于自主产生解决方案的魅力,这并不奇怪。为充分解释其影响,本文最后一节将聚焦于如何更全面地理解AI累积的代理力(cumulative agentic force)——其运作能动力和“自动化偏见”倾向——在(iii) “阈值”(threshold values)如何在算法中运作的语境下,以及关键地,这些阈值如何可能过于轻易地被校准以实现日益可议的目标。

“阈值”(threshold values)的校准关系到算法计算中的变量,其在AI系统中的操作能够证实威胁。在人类干预确实发生的(罕见)情况下,我会指出这似乎涉及一个可疑的过程,即扩大——而非质疑——潜在威胁或“目标”的指定范围。那么,我们需要追问,一种基于偏执投射威胁(无论真实还是想象)的政治意识形态,如何有条件地被硬连接到机械装置中?提出这一点,就是质疑以色列国防军用于确定目标时已知的“分数”或“阈值”,以及分别与看似客观的算法权重和偏见相关联的“阈值”,在名义上是否全部融合在一起以追求肆意杀戮?

通过关注2023年10月以来加沙战争如何推进,以及其蓝图如何在2021年5月相对受限的以色列-哈马斯战争中已显而易见,本文旨在提供一个关键框架和可行的方法论,以界定AI用于识别(若非生成)目标如何助长了整个社区的无差别屠杀。为了在一定程度上回应针对ATR使用的决定性政治反应的惊人缺失,以及任何称职的法律审议的缺席,我将提请关注加沙不成比例杀戮的程度如何被建立在——若非与——AI自动化目标锁定过程的能力成正比的基础上。今后必须面对的主题是:以色列国防军的先发制人理论(其为通过预判威胁以消除危险的军事主义尝试的长期特征),是否不仅利用了AI的一项基本功能——算法外推的目的性逻辑——而且还以此延长一场已被视为不成比例(若非种族灭绝)的“永久”战争?通过统计分析过去模式并投射潜在风险来召唤威胁的能力,AI是否不仅成为维持战争的手段,还成为使死亡规模空前持续、延长无尽痛苦和煎熬,并最终重新定义平民与非平民法律界限的工具?如果是这样,回到我们的开篇问题:那么,AI是否既构成了潜在危害人类罪的共谋,同时又恰恰提供了未来用来否认此类指控的托辞?

人工智能的运作能动力与代理力

尽管“福音”(The Gospel)系统的部署在2023年其使用情况被报道后受到更多关注,但它曾在2021年5月的加沙战争中首次露面。被称为“城墙守护者”的2021年战争突显了当时名为“福音”(无定冠词)的系统,以及其他人工智能目标识别系统(如“炼金术师”(Alchemist)和“智慧深度”(Depth of Wisdom)),如何被常规地用于自动化目标识别。该系统旨在“为[以色列]军事情报部门侦查部队的士兵生成推荐目标,他们利用这些目标产出高质量目标,然后将其移交给以色列空军(IAF)实施打击”。2021年的进攻被一些人认为是“第一次人工智能战争”(以色列国防军情报部队高级军官,引自 Ahronheim 2021)。有鉴于此,一位以色列国防军情报部队高级军官指出,“人工智能是与敌人作战的关键组成部分和力量倍增器”(以色列国防军情报部队高级军官,引自 Ahronheim 2021。着重号为作者所加)。他继续说,这是“以色列国防军首次开展的此类战役,[该战役]实施了新的作战方法,并运用了作为力量倍增器的技术发展……”(Ahronheim 2021;着重号为作者所加)。

它允许做出人类决策然后发射导弹,一整套AI诱导的选项能够也确实导致了暴力——或者,用以色列国防军更温和的术语来说,“能量倍增器”(AI)让位给了“力量倍增器”(破坏)。这里所涉及的自动化目标识别序列值得注意:它始于算法生成对一个潜在“目标”的推荐(然后传达给操作员,随后转交以色列空军),对过去模式(历史事件)的统计学、AI增强分析和未来可能结果(概率事件)的投射,被转化为破坏这个不可逆转的事实。涉及目标统计学具象化的临时性计算能够也确实以指数级的方式导致实际的伤亡。

这种将输入(数据)缩小至某个解决方案或预测,再从那里到一个有限的推荐行动点(目标锁定)的内在机器化程序意味着,人工智能所提供的能力有潜力引发导弹打击事件,不是因为预测本身正确,而是由于其方法和过程中被编程嵌入的程序性逻辑(Amoore 2020, pp. 16–17)。对此我们可以指出,作为一个明确的指令序列,算法预测能够也确实代表了“一个被提出的解决方案的体现”(Bucher 2018, p. 23)。尽管或可能正因为AI在提供给定解决方案时只能产生概率性的预测,而非提供确定性的预判,但它声称的预测功能不应让我们忽视这样一个事实:无论威胁是否存在,统计概率都可以炮制出威胁的存在(Downey 2024a, b, 2024a)。这就是说,“一个悖论出现了,一方面来自算法使其预测成真的能力,另一方面则源于试图预测未来会威胁到封闭其开放的地平线……一个旨在应对未来不确定性的预测,可以迅速转变为一个结果可能是虚幻的确定性”(Nowotny 2021, 50–51)。由一种看似无穷无尽的风险计算所召唤而出,需要明确的是,这并非关于威胁是否存在的实质证明;相反,它是关于AI那不可阻挡的代理力,以及它如何延续了一个预言性的持久威胁领域。

当我们审视AI如今在加沙的影响时,我们需要意识到先例:2021年5月的战争重大地见证了一个多学科中心的建立,以产生“数百个与战事发展相关的目标,使军队能够在其所需的任意长时间内持续作战,拥有越来越多新目标”(Ahronheim 2021。着重号为作者所加)。这似乎是2023年战争的某种预演,2021年加沙战争的推进意味着一个现成的(若非无限的)目标供应,服务于模糊的军事目标——值得注意的是,这种可疑的义务是只要需要就延长冲突。相反,在2023年,生成“比以往任何时候都更多的潜在目标”的动机似乎是出于政治目的,而非严格意义上的军事必要性驱使:考虑到更广泛的公众舆论,当前诸如“福音”等AI平台的使用不仅允许了目标锁定的自动化过程和军事进展的表象,而且更险恶的是,它还服务于一个旨在实现政治生存目标的、显然永无止境的战争。然而,这种生存的代价似乎是将大规模杀戮的永久循环投射到未来——表面上,这种投射旨在对抗所谓的、反复出现的、返祖性的和祖传的暴力幻象。

后一个命题,在其所有致命的聚合点上,在亚伯拉罕(Abraham 2023)引用的一位前以色列情报官员的评论中得到了更充分的承认,该官员表示,目前在加沙部署的“福音”系统“促成了一个‘大规模暗杀工厂’”。同一位官员在一份质疑了现行人道主义和法律约束缺失的叙述中补充道,使用AI生成目标凸显了“重点在于数量而非质量”的事实(亚伯拉罕 2023。着重号为作者所加)。作为仅一个权宜之计因素来考虑,现实是个体操作员在调查目标建议的实质或有效性上“无需花费大量时间”(亚伯拉罕 2023)。基于反复产生越来越多目标的能力进行评估或判断,此处人类决策的方向并非节制——即HITL协议声称的功能——而是更令人担忧地,被交付给了一种权宜之计的度量标准,该标准回应的是政治需求,而非军事、法律或伦理要求。

在2023年10月7日之后,一系列文章和报告对以哈战争中前所未有的平民死亡人数提出了质疑。分析战争的前3周(10月7日至26日),一份报告试图确定同一时期加沙地带死亡总人数中被杀害的平民或所谓“非战斗人员”的确切比例(Levy 2023)。莱维(Levy)认为,这种异常水平的杀戮是以色列国防军放松目标限制的直接结果,他质疑以色列军队是否正在藐视“区分”(discrimination)的法律先例。从历史上讲,“区分”一词意味着由人类做出的决定,它仍然是国际人道法(IHL)的基石。该原则由国际人道法规定和体现,是规范性的,因为它“阐述了在战争杀戮方面,人们应如何看待平民豁免”(Watkins and Laham 2020, 4. 着重号为作者所加)。就其定义了攻击方在瞄准和杀戮前需要区分(discriminate)战斗人员(士兵)和非战斗人员(平民)的程度而言,莱维表示,“我们可以得出结论,[在加沙]没有遵守区分原则,而异常高的[死亡]率将反映出要么是背离了相称性原则,要么是对该原则进行了高度灵活的解释”(Levy 2023. 着重号为作者所加)。莱维进而总结道,“使用人工智能快速生成目标,进一步降低了过去体现人类审慎精神的谨慎水平”(Levy 2023)。“人类审慎”或其缺失的问题,突显了一个核心关切:在人工智能所提供的能力和自动目标识别(ATR)设备的支持下,谁——或者实际上是什么——取代了个人(或就此而言,政府或法律)对发动战争所负的责任。我们由此进入了一场讨论,涉及与“自动化偏见”存在相关的过于真实的危险,以及自动目标识别中一个业已普遍的特征——将判断推迟给机械过程——在多大程度上被工具化以实现大规模杀戮与破坏。

自动目标识别(ATR)中的自动化偏见

“自动化偏见”(automation bias)描述了一种战争方法,通过该方法,人工智能平台的人类操作员会顺从或接受自动化系统所做的决策,即使这些决策不正确或不完整。它对ATR的有效运作至关重要,因为它加速了目标锁定和导弹发射的进程。通过利用人工智能表面客观的功能以及随之对其“效率”的顺从,预测中的错误(这在战争中可能产生不可逆转的后果)可以轻易地被归咎为一种机械性(客观)而非故意(主观)的误判或错误。人工智能所隐含的客观性,即其提供了所谓“来自无处的视角”(view from nowhere)的似是而非的说法,同样可被用于减轻错误预测的责任,并使人类操作员在个体的流离失所、致残、杀害以及心灵创伤中免受责难,并且,正如我们在加沙所见,使整个家庭和社区免于受责。牢记这些要点,需要确定,这种对机器计算的过度依赖和顺从——“自动化偏见”的公然存在——正如何以牺牲“审慎”思考和有意义的人为干预为代价而被奉行。

遵循英国心理学家和认知科学家诺曼·H·“麦克”·麦克沃思(Norman H. "Mack" Mackworth, 1917–2005)的研究工作(他在1940年代的研究基于雷达操作员在长时间内有效使用自动化目标识别系统的能力),可知自动化的一个主要后果是人类的注意力会随着时间推移而明显下降。考虑到二战期间皇家空军成员经常从事涉及视觉搜索的漫长活动,麦克沃思试图“确定反潜巡逻中机载雷达操作员的最佳值守时长”,以及其与个体注意力和警觉性衰退的关系(Mackworth 1948, p. 7; 另见 Mackworth and Kaplan 1962, passim)。追随麦克沃思的引领,近期研究已证明,“参与警戒任务通常会导致任务参与度的丧失,并伴随着痛苦感,并且这些变化随着任务难度的增加而加剧”(Warm et al. 2008, 443; p.439)。后一篇论文论及“人-机”系统中的警戒性时指出,尽管“警戒研究……[其]兴趣多年来有起有落,但由于自动化在人机系统中的普及,[这种兴趣]最近有所增加”(Warm et al. 2008, p. 434)。对警戒问题的关注最终直接引发了对以下问题的思考:“自动化技术的进步已将工人的角色从主动控制者转变为系统监督者,他们在其中充当故障保险的角色,只需在问题出现时做出反应”(Warm et al. 2008, p. 434. 着重号为作者所加)。至关重要的是,警戒性(或其缺失)已成为评估在AI支持的工作环境(这些环境中自动化系统很常见)中人类绩效水平的一个核心因素,这些环境包括“军事监视、空中交通管制驾驶舱监控、航海导航、工业过程/质量控制、长途驾驶和农业检查任务”(Warm et al. 2008, p. 434)。在这个已经很长的清单上,我们还需要加上数据中心化战争中使用的ATR系统。

在亚伯拉罕2023年的原始文章中,一个消息源声称,尽管在“福音”推荐的每次攻击前,理论上会有肉眼过一遍特定目标,但这充其量也只是走马观花的活动:“我们自动准备目标,并根据一份清单工作,”消息源在被引述时说,然后确认道,“[这]确实就像一个工厂。我们工作迅速,没有时间深入钻研目标。观点是,我们根据我们设法生成多少目标来被评判”(Abraham 2023. 着重号为作者所加)。根据其通过ATR结构的生成机制来产出目标的能力进行评估,操作员被嵌入、受评估并受制于一个类似自动化工厂的体系,该体系促成了对机器计算的顺从。 即使确实存在警戒心,也会以效率的名义被否定,而由于注意力水平下降而委托决策的倾向——即“自动化偏见”的存在——似乎很容易被利用来作为产生更多目标的手段。结果,ATR的运作能动力将人类代理人转化为这个散播死亡的技术装置中的一个同谋但不一定负有责任的组成部分。

在一个本身就容易出现“自动化偏见”的自动化系统内部运作,人类操作员不仅屈从于且受制于他们无法控制的过程,而且在其功利主义逻辑中是可被替代的——多余的:任何人,只要经过足够训练,都可以被征召来维持和验证这个本质上是自主系统的功能,并且任何人在这个结构中都可以被替换。考虑到AI平台在加沙的使用,我们在此面临一个令人不安的担忧:为了战术和政治目的,对相称性原则的“高度灵活解释”,在多大程度上利用了目标识别机械系统中不可避免存在的“自动化偏见”?如果我们能在某种程度上同意,自2023年以来(若不能上溯至2021年),由AI的代理力以及更广泛的“自动化偏见”所驱动的自动化杀戮前景在加沙已成为范例而非例外,那么我们需要提出一个可能更令人不安的问题:整个社区和人口的去人性化是否已被有效地编码进驱动ATR系统的算法之中?那些引发致命计算的统计学抽象概念,连同验证算法诱导预测的权重、偏见和“阈值”所具有的迭代性、系统性逻辑,是否能为批准产生更多目标(包括平民或其他目标)的军事程序提供佐证?

阈值与边缘案例

当我们思考人工智能(AI)及算法的行动号召在何种程度上揭示出一种代理性、目的性的力量时,算法“不仅是一套有限的计算程序序列,也是受其所接触数据输入特征所制约的生成性代理人”这一点变得更加明显(Amoore 2020, p. 12. 着重号为作者所加)。回到我们之前关于AI能动性的观点,自动目标识别(ATR)于是可以被理解为一个模式,其中接触“数据输入特征”的过程被不断收窄以产生单一输出。“作为一种孔隙(aperture)工具,算法朝向行动的导向摒弃了它接触到的大部分素材。在孔隙之处,海量的视频数据被收窄以产生关于对象的单一输出。在这种数据素材中,蕴藏着算法识别或未能识别某物或某人作为兴趣目标的能力”(Amoore 2020, p. 17)。既然算法确实是孔隙状的,将信息提炼导向必然的军事行动,那么它们也是我们即将看到的一种扩张性代理人,引入了在分类何为构成合法“目标”时涉及的“阈值”的扩张性概念。

在一篇发表于2023年2月(大约在2023年10月7日事件八个月前)的文章中被引用时,以色列国防军一位现役成员(约夫上校,Colonel Yoav)对AI平台的内在工作原理以及目标识别“阈值”在算法化战争中如何运作提供了一系列异常坦率的见解。提到AI在2021年5月加沙战争中的部署以及8200部队(以色列国防军情报部队单位)使用的标准操作程序时,约夫详细描述了“[我们]采用原始的子群,计算他们的亲密圈子[个人关系],计算相关特征,排列结果并确定阈值,[并且]利用情报军官的反馈来改进算法。”在这种环境中,数据既是全知的(全视的),又处于不断的流变中(易受进一步输入的影响)。输入数据以训练一个ATR平台,并生成反馈以改进算法,“人在回路中”(HITL)被嵌套在威胁的计算之中,却也是它的附属代理人。人类活动的沉浸,加上运作能动性(operational agency)在输入与输出循环网络中的扩散,引发了一系列关于AI的回路或系统运作在内部是如何被编程和校准的疑问。谁,或者什么,在决定威胁的“阈值”,又是如何决定的?

为了更充分理解这个问题,我们可以在此观察到,AI平台的内部系统运作常常对算法应用“阈值”以调节并调制其进行更精确预测的倾向。如果我们将算法理解为一种系统的、逐步解决问题的程序或完成任务的方法,那么此情景中的“阈值”本质上就是那些阶段被执行时所使用或应用的参数。技术术语上讲,“阈值”或阈值函数(threshold function)因此是一种被算法用来提高其预测能力的参数。“阈值”的应用随后在理论上实现了更好的信号、激活二元决策、优化性能、定义(数据中的)异常值(outliers)、识别异常模式、聚合并评估多个迭代过程,以及确定结果的统计显著性。意指边界——或极限案例(limit cases)——和内部机器传输的结构,我们需要确定以色列国防军用来定义威胁等级的实际分数(thresholds,阈值)与那些同看似客观的算法回路相关联的“阈值”(threshold values)在何种层面上被协调一致?如果一个“阈值”的内部虚拟回路——那些用于测试AI逻辑与预测准确性的数值——被部分或全部依据一种外部意识形态对普遍威胁的执着而校准,那么谁,或者什么,最终定义了“战斗人员”与“非战斗人员”之间这关乎生死的区别?

定义“阈值”所涉及的一个方面关系到所谓“边缘案例”(edge cases)的存在。该术语用来描述发生在AI平台设计处理能力边界或极限的事件,一个可验证的“边缘案例”在涉及算法的预测可靠性时应当引起关注。在上述文章中,约夫上校在具体谈及2021年加沙战争时,却观察到:“[战时]我们的平台因大量边缘案例而疯狂运转。这对系统的作战连续性造成了损失。但我们成功保持了高标准。我们成功在10天内更新了系统150次。”在此情景中,“边缘案例”可以指一个不寻常或极端的输出,它揭示了应用于算法的“阈值”所存在的弱点、错误和局限性。鉴于我们谈论的是一个不可避免地参与识别“目标”的模型,系统中的任何错误或局限性——在“边缘案例”中显现——可以说都会导致不准确的威胁预测,从而引发死亡。约夫似乎漫不经心地指出,AI平台可以被系统地快速更新,以解决——并且大概包含——那些原本不属于指定“目标”清单权限范围内的“边缘案例”。在这个实例中,HITL所声称的功能——标出那些“不完全符合”的边缘案例——似乎被有效地忽略了,以利于作战优势,而不是预示着一个反省或批判性审视的时刻。

如果通过军事能力实现大规模毁灭的政治必要性(其建立在一场看似“永久”战争的雄心之上)能被编码进定义所谓战斗人员与非战斗人员(平民)区别的系统性内部“阈值”中,那么可以论证,偏执的威胁投射就能在AI的回路中被物化(reified)。如果“阈值”在某种程度上是由一种感受到的存在性威胁或永久紧急状态所编码,那么当它们根据一个最多只是政治性的——并且可能是持久的——而非由军事定义并被限制在相称性理想之内的需求而调整时,会发生什么?提出这样一个问题时,我们可以毫无保留地思考一个发人深省的事实:迫在眉睫的威胁模式总是能在需要的地方被找到。这进一步强调了AI所做的预测(基于对过去模式的统计分析)在何种程度上具有“在数据中发现模式的几乎无限能力。在人类找到一个模式所需的时间里,计算机能找到数百万个”(Domingos 2015 p. 72)。

约夫对2021年5月加沙战争的描述中,“确定阈值”(determine thresholds)这个短语需要结合亚伯拉罕2024年关于另一个AI驱动的目标识别系统(被称为“薰衣草”(Lavender),该系统至少自2023年起就在加沙使用)的文章进行更深入的语境化考察。引用一位以色列国防军消息源的话,亚伯拉罕确定了以下信息:“B. 说这种[在“薰衣草”系统中的]自动化的原因是为了不断推动产生更多暗杀目标。”在一天中没有目标(其特征评分足以授权攻击)的情况下,我们会降低阈值进行攻击。我们不断受到压力:‘给我们带来更多目标。’他们真的朝我们喊叫。我们非常迅速地完成了[消灭]目标的任务”(Abraham 2024)。文章继续写道:

“他 [B.] 解释说,当降低“薰衣草”的评级阈值时,它会将更多人标记为打击目标:‘在高峰期,该系统设法将37,000人列为潜在的人类目标,’B. 说。”但这个数字一直在变化,因为这取决于你如何设定什么是哈马斯成员的门槛。有时哈马斯成员的定义被放宽,然后机器就开始给我们带来各种民防人员、警察,在他们身上浪费炸弹是很可惜的”(Abraham 2024)。

以色列国防军似乎意识到了所采用的目标概念的扩大化,并且似乎毫不吝惜地支持目标扩大化被硬接入ATR系统而没有多少人为监督的事实。“没有‘零错误’政策。错误是按统计学处理的,”一位使用过“薰衣草”的消息源说。“由于范围和规模的原因,协议是即使你不确定机器是对的,你也知道从统计学上看它没问题。所以你就放手去做”(Abraham 2024)。由人类操作员输入的更新数据,理论上本应被用于独立证实或质疑ATR提供的“解决方案”,却似乎仅仅基于统计概率的抽象来确认目标对象。正如我们在2021年所见,2023年和2024年在加沙的HITL的角色,并非节制目标锁定和杀戮,甚至也非标出数据中的异常或“边缘案例”,而是为了一个导致广泛破坏的行动连续性模式而被持续忽视。

训练AI生成预测所涉及的统计概括过程包括数据的聚合和模式的整理,以得出一个中位结果。换言之:统计学是一种序列还原主义的方法——一种通过聚合来得出可行分布模式的手段。尽管它具有规定性(prescriptiveness),统计分析在决定生与死区别的决策过程中仍然是基础性的。AI基于过去特征、模式和事件的统计普遍性运作,努力从输入中进行概括以预测未来,并进而消除未决威胁。当以视觉为中心的观察和有意义的人类输入——所谓的HITL——被概括性计算(统计聚合)所取代时,可以说平均化的功能不仅是一种序列还原主义的形式,也是一种拉平(flatten)甚至消除不同阵列和输入的方法,以便利用一个无法总是解释数据分布中的异常值和“边缘案例”——即生命模式分析中那些“不符合”的行为——的模式。统计聚合的逻辑,加上目标识别已然高度自动化的程度,在此应引起相当大的关注,这一事实几乎被以色列国防军承认过,因为他们指出“薰衣草”系统经常被证明有误但仍然被使用。例如,众所周知,该系统旨在锁定嫌疑人,“该系统在大约10%的情况下会产生被认为是‘错误’的结果,并且已知会偶尔标记那些与武装团体仅有松散联系或根本无联系的个人”(Abraham 2024)。

在一位以色列国防军发言人于2023年11月2日发表的声明中——回到关于“福音”系统的使用——声称部署在该平台的目标锁定过程总是预先设定了某种程度的人类输入:“这是一个[‘福音’]系统,允许使用自动工具快速生成目标,其工作方式是根据需求改进准确和高质量的情报材料。借助人工智能,并通过快速自动提取更新的情报——它[‘福音’]给研究人员生成一个建议,目标是实现机器建议与人类识别之间的完全匹配。” “根据需求”(according to the requirement)这类术语中普遍存在的模糊性仍然令人不安,因为它允许对谁(或什么)定义了AI驱动目标生成机制中的“阈值”以及“边缘案例”在这些定义中的作用存在不小的不确定性。

如前所述,在机器投射与人类分类之间实现所谓“完全匹配的目标”持续受到“自动化偏见”的存在以及人类由此轻易成为“机械化过程中的齿轮”的破坏。亚伯拉罕进一步注意到这种印象,他观察到,关于“薰衣草”,人类对此类系统的输入最多只是敷衍了事,即使不是被致命地削减:“一位消息源称,人员常常只是机器决策的‘橡皮图章(rubber stamp)’,并补充说,通常,他们在授权轰炸每个目标前只会投入大约‘20秒’的个人时间——只是为了确认‘薰衣草’标记的目标是男性”(Abraham 2024)。一种趋向毁灭的政治意志的递归性、相互强化的优先级,以及“阈值”为保障扩大化“目标”定义而明显的校准,共同引发了一个过于真实(若非不可避免)的可能性:AI装置所提供的功能(affordances)已成为被许多人认定为战争罪和反人类罪的共谋。在一个悲剧性地迎合了战争系统自动化需求的举动中,永无止境、持久威胁的幻影容忍了部署一种技术或装置,它不仅能比人类更快地清点目标,还能基于可消耗性(expendability)的死亡政治逻辑(thanato-political logic)将它们召唤出来。

此处使用“装置”(apparatus)一词来描述AI及其在ATR中的部署,我意指乔治·阿甘本(Giorgio Agamben)使用该词来理解感知到的紧急状态如何通过规训权力(disciplinary power)装置运作的那个意义:“装置必然总是暗示一个主体化(subjectification)的过程,也就是说,它们必须生产它们的主体”(Agamben 2009, p. 11. 着重号为作者所加)。参考米歇尔·福柯(Michel Foucault)的工作,特别是后者对dispositif(装置)的概念化,阿甘本将装置描述为一种机制,它不仅能生产主体,而且是直接回应特定的、被规定的紧迫性而这样做。当我们考虑到由哈马斯带来的看似存在主义的威胁所引发的紧急状态(以色列军队正是在该状态下在加沙进行最近的战争)时,我们或许想探究服务于诸如“福音”和“薰衣草”等平台的算法装置,如何以“目标”的形式生产它们的主体,并且这种生产关系着一个看似紧急的、永久的和被投射的需求——即消灭看似返祖性的威胁。目标的召唤,即主体的初步识别和专断的生成(subject-cum-target),进一步揭示了主体——无论是平民与否——在何种程度上正被强加责任(impositioned)或视为可被追责(accountable),通过一个部分回应了国家安全零和博弈所体现的急迫需求(exigencies)的算法过程。

反思“人在回路”辩护的托辞

严格来说,“人在回路中”(HITL)描述了人类输入或介入的层次如何被整合到AI模型中,以提升系统的准确性、可靠性和整体公平性。然而,在前述讨论中,政治权宜之计与军事指令被编码进AI的事实越来越明显,以至于算法的运作能动力可以根据可疑的“需求”自动召唤出目标。目标涌现所依赖的或然性与可能性的条件本身,已在其统计演算中被话语性地预先定义,这种演算在表面上包括实则排除了任何有意义的人类干预和节制实例。即使确实发生了此类干预,也可被视为顺应了偏执(但具有策略性)的威胁投射以及对一场无休止战争的追求。至于人类反馈(以情报信息或重要干预形式呈现)的可验证实质,亦可视为仅仅是对算法回路内部系统性“阈值”的重新校准过程,使其在严重缺乏战斗人员与非战斗人员明确区分上成为共谋。

我们在此部分地回到了当代战争中对相称性和区分性原则进行“高度灵活解释”所蕴含的技术可行性问题,这两者是对军队和政府施加法律约束的基础。那种认为假设存在一个“人在回路中”——一个提供及时明智监督的有感知实体——将能节制(若非阻止)任何失误或不正确计算的建议,如前所述,即使不算虚伪也是误导性的。如果要将HITL辩护充分理解为包含公正(而非例行偏颇)的输入,就需要赋予其谨慎、负责且理智的监督和佐证职责。这个理念(若非理想)必须具有实质性,而非像在加沙那样,与那些可争辩地缘于一种追求完全且绝对占领范本的政治与族裔统治意志的“要求”保持一致。

如果正如有些人所争论的,以色列国正将加沙的责任外包给私人公司,这种倾向揭示了其终极“目标是将道德和法律责任从以色列转移至[私有]武装民兵”的程度(Landau 2024),那么可以说,它同时也将引入那些实质上(若非名义上)是自动化杀戮系统的道义责任也外包了。个体(操作员)在AI驱动的ATR装置内部的“技术化”(technification),以不担责的机器能动之名放弃负责任人主体(agent),不仅导致更多而非更少的暴力,还导致了目标及使用此类武器者在道德上的贬低:“用致命自主武器系统(LAWS)进行杀戮的过程始终是一种系统化暴力模式,其中杀伤链中的所有元素——从指挥官到操作员再到目标——都服从于技术化。这种技术化激励了对被瞄准者道德价值的贬低,同时也贬损了参与施加自主暴力者的道德能动性”(Renic and Schwarz, 2023, p. 322)。

如果我们充分考量维持“人在回路”幻象所涉及的说辞,就需要从根本上反思人类能动性在重新分布于一个机械化的、自我调节且可能自利的装置时,如何已不可挽回地沦为了算法预言之目的性功能与道德真空的附庸。我们不得不问,人类干预是否仅仅成为了一种假肢式的存在——一个因配额驱动、受制于无力完全认知此类系统影响而显得过分顺从的旁观者或代理人?在此将责任转移至自动目标识别机器结构的举措中,人类责任的量化——实际目标锁定的致命影响——是否随后在道德和伦理上被遮蔽,因而更难在法律上得到证实?在我们可以将人类操作员定性为机器逻辑促进者(即调整算法预测但未必质疑之)的程度上,此后便难以将人类输入视为不过是橡皮图章行为——一种对机器过程产生的自动化反应,该过程执行时几乎没有批判性思考、审视或真正的决策。

如果目标识别平台能在无需人类输入(HITL)的情况下自动生成而非名义上识别潜在目标,那么“福音”、“薰衣草”及其他ATR装置的操作逻辑其作用就不仅是分类和提议潜在目标,还根据军事目标(击败敌人)和政治必需(延长战争)来生产它们——在后一种优先事项(在以色列-哈马斯战争中)至少是可质疑的。正是在这个永恒威胁的幻影空间内,对一种看似不可逾越的存在性风险的计算导致了其被即刻根除,我们可以开始详述算法诱导目标的广泛使用如何旨在将威胁无限投射到(不可)预见的未来。如果如已注意到的那样,生活在西岸(包括东耶路撒冷)和加沙的巴勒斯坦人所呈现的所谓危险被以色列国视为一种反复、古老(若非世代相传)的持久威胁形式,那么AI的操作逻辑似乎将继续生产目标并提供一种无情、在法律上应受谴责且本质不可平息的回应——总而言之,一种托辞——该回应迄今为止被奉行时,没有多少怜悯或同情可言。

Downey, A. The alibi of AI: algorithmic models of automated killing. Digi War 6, 9 (2025). https://doi.org/10.1057/s42984-025-00105-7

成为VIP会员查看完整内容
6

相关内容

人工智能在军事中可用于多项任务,例如目标识别、大数据处理、作战系统、网络安全、后勤运输、战争医疗、威胁和安全监测以及战斗模拟和训练。
【混合智能】有关军事混合智能的思考
产业智能官
13+阅读 · 2020年5月17日
图神经网络火了?谈下它的普适性与局限性
机器之心
21+阅读 · 2019年7月29日
收藏 | Tensorflow实现的深度NLP模型集锦(附资源)
THU数据派
12+阅读 · 2019年4月28日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Arxiv
170+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
467+阅读 · 2023年3月31日
Arxiv
76+阅读 · 2023年3月26日
Arxiv
24+阅读 · 2023年3月17日
Neural Architecture Search without Training
Arxiv
10+阅读 · 2021年6月11日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员