Many experts argue that premature development of artificial superintelligence (ASI) poses catastrophic risks, including the risk of human extinction from misaligned ASI, geopolitical instability, and misuse by malicious actors. This report proposes an international agreement to prevent the premature development of ASI until AI development can proceed without these risks. The agreement halts dangerous AI capabilities advancement while preserving access to current, safe AI applications. The proposed framework centers on a coalition led by the United States and China that would restrict the scale of AI training and dangerous AI research. Due to the lack of trust between parties, verification is a key part of the agreement. Limits on the scale of AI training are operationalized by FLOP thresholds and verified through the tracking of AI chips and verification of chip use. Dangerous AI research--that which advances toward artificial superintelligence or endangers the agreement's verifiability--is stopped via legal prohibitions and multifaceted verification. We believe the proposal would be technically sufficient to forestall the development of ASI if implemented today, but advancements in AI capabilities or development methods could hurt its efficacy. Additionally, there does not yet exist the political will to put such an agreement in place. Despite these challenges, we hope this agreement can provide direction for AI governance research and policy.


翻译:许多专家认为,过早开发人工超智能(ASI)会带来灾难性风险,包括因ASI未对齐而导致的人类灭绝风险、地缘政治不稳定以及恶意行为者的滥用。本报告提出一项国际协议,旨在防止在人工智能发展能够规避这些风险之前过早开发ASI。该协议在保留现有安全AI应用可访问性的同时,暂停危险AI能力的发展。所提出的框架以美国和中国为主导的联盟为核心,将限制AI训练的规模及危险的AI研究。由于各方之间缺乏信任,核查成为该协议的关键组成部分。通过设定浮点运算次数阈值来实施对AI训练规模的限制,并通过追踪AI芯片及核查芯片使用情况进行验证。危险的AI研究——即那些朝向人工超智能发展或危及协议可核查性的研究——将通过法律禁令和多维度核查予以禁止。我们认为,若当前实施该提案,其在技术上足以阻止ASI的发展,但AI能力或开发方法的进步可能削弱其有效性。此外,目前尚不具备落实此类协议的政治意愿。尽管面临这些挑战,我们希望该协议能为AI治理研究和政策制定提供方向。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
一种Agent自主性风险评估框架 | 最新文献
专知会员服务
16+阅读 · 10月24日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
ICLR'21 | GNN联邦学习的新基准
图与推荐
12+阅读 · 2021年11月15日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Arxiv
0+阅读 · 11月26日
Arxiv
0+阅读 · 11月18日
VIP会员
相关资讯
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员