2024年6月，新美国安全中心（CNAS）发布了文章《潜在危机：简述人工智能、重大危机与国家安全》（Catalyzing Crisis：A Primer on Artificial Intelligence, Catastrophes, and National Security）。该文章澄清了什么是人工智能重大危机，介绍了最能造成重大危机的人工智能安全维度，并阐述了减轻人工智能重大危机对国家安全从业人员日益重要的意义。元战略编译此文章，以期为读者提供相关参考。

一

人工智能可能带来的重大危机

2022年11月ChatGPT的问世，让全世界对人工智能的潜力和风险既兴奋又担心。作为回应，一些人工智能实验室、国家政府和国际机构发起了新的研究和政策，以降低大规模的人工智能风险。然而，为降低这些人工智能风险而做出的工作也引发了一场关于如何定义、区分和优先处理人工智能可能带来严重危害的争论。这种分类上的混乱可能会使决策者辨别人工智能风险和对国家安全的影响复杂化，并阻碍解决这些问题。具体来说，人工智能可能带来严重国家安全影响的重大危机往往被忽视，对此公开讨论主要集中在以下两方面：一方面是与偏见和歧视相关的人工智能带来的系统性危害，另一方面是关于人工智能带来的生存风险（existential risks）。

对于国家安全工作者来说，关于人工智能潜在危害的各种观点往往相互矛盾，这可能会掩盖新出现的、对国家安全有直接影响的重大危机。一方面，人们关注人工智能在偏见、歧视和系统性影响方面已经造成的一系列危害；另一方面，人们聚焦未来人工智能可能带来的生存风险。因此，人工智能的进步可能助长对国家产生破坏性影响的事件，从生物恐怖主义到全国性的金融崩溃等。鉴于这些事件的潜在规模，政策制定者迫切需要进行冷静的分析，以更好地了解人工智能带来的重大危机。更清楚地认识人工智能的重大危机，并不会抑制国家在未来几年发展这一技术的竞争力。恰恰相反，对与人工智能有关的重大危机有更深刻的认识，可能有助于国家更有信心地向前迈进，并避免发生可能因公众反弹而阻碍发展人工智能技术的事件。

二

不同风险的概念区分

为了明确人工智能带来的重大危机，需要区分“紧急事件”“灾害”“重大危机”和“毁灭性危机”等术语。按照克利福德奥利弗提出的事件的“量级连续体”理论，可根据事件影响的范围以及管理其影响所需的反应的大小和复杂性来区分人工智能带来的风险类别，具体如下：

（一）紧急事件是在地方层面上对一个或多个个体的生命、福祉或财务健康构成风险的事件。地方官员通常有计划和程序来管理突发事件的影响。与人工智能相关的紧急事件可能是一辆自动驾驶汽车意外造成严重的道路碰撞，受伤人员需要立即就医。

（二）灾害是涉及多人的事件、大规模的经济损失，或者两者兼而有之。地方危机管理资源无法充分管理灾害，需要周边地方、地区或国家政府的额外支持。人工智能相关的灾害可能是自动化石油钻井平台系统的故障，导致数百万加仑的石油不受控制地泄漏到海洋中。

（三）重大危机是指在人员伤亡或经济破坏方面非常严重的事件，以至于它们超出了一个或多个国家政府危机管理系统完全处理其影响的能力，导致关键需求未得到满足，至少在初始阶段如此。重大危机在规模上和其影响的性质上都不同于紧急事件和灾害，因为它们引起了广泛和相互关联的社会、政治和经济影响，无法由任何一个指挥和控制系统来管理。因此，重大危机对现有的社会和政府制度是一种压倒性的冲击。与人工智能相关的重大危机可能是利用人工智能开发出一种致命的、高度传染性的病原体，这种病原体使得一个国家的大量人口死亡。

（四）毁灭性危机是灾难性的，有可能消灭人类物种，比如如果一颗大型小行星与地球相撞，地球就会变得无法居住。此类事件发生的风险在公共话语中通常被称为生存风险，但生存风险的定义还包括其他更广泛的场景。在这些场景中，某个灭绝级事件可能不会完全消灭人类生命，但会“永久地、大幅度地削弱”智慧生命的潜力，或导致文明不可逆转的崩溃。也就是说，应对这些毁灭性危机的影响超出了人类危机管理的集体机制的能力。

三

关注人工智能重大危机的必要性

随着人工智能技术的成熟，与人工智能相关的紧急事件、灾害、重大危机和毁灭性危机都值得关注，但重大危机与国家安全政策制定者尤为相关，原因有以下几点。首先，鉴于重大危机的影响会压垮所有国家以下各级当局的应对能力，国家安全工作者承担着应对此类事件的大部分主要责任。其次，重大危机有别于紧急情况和灾害的一个特点是国家没有能力完全管理事件的影响。这意味着，除了造成生命、经济活力或两者的毁灭性损失外，重大危机还可能威胁到国家本身的长期健康、安全和稳定。

在科学发达的社会中，强大的技术往往可以加速危机，从这个意义上说，技术进步对发达社会来说是一把双刃剑。虽然自然事件，如瘟疫、饥荒、地震、火山爆发、海啸或飓风的形式在历史上一直是大多数社会大规模灾难的主要来源，但技术的进步帮助减轻了许多自然事件发生的严重影响。然而，不断增长的技术能力极大地增加了人为灾难的风险和范围。这一趋势在战争中表现突出，技术进步使人们能够制造出更具破坏性的武器：从尖锐的石头到弩，再到机关枪，最后是具有杀死数十亿人能力的核武器。

人工智能可能的破坏性潜力不像其他一些技术那样明显。虽然人工智能工具不会像核弹那样爆炸，但更微妙、更复杂的人工智能系统也可能造成重大危害。与电力一样，人工智能是一种通用技术，能够用于各种各样的应用，并且正在迅速集成到从医疗保健到全球物流的复杂、精细的系统中，并在多个领域实现科学突破。自2019年以来，对人工智能的私人投资每年超过1000亿美元，短期内可能会进一步增加，从而加速人工智能的发展和部署。人工智能系统的内部工作原理往往无法被人类监督，有时甚至优于人类的能力，这意味着复杂的人工智能工具与其他系统和技术相结合，可能会显著改变危险领域的风险状况。人工智能部署的速度、潜在应用的多样性，以及人工智能模型快速增长的能力，可能会加剧各个领域的灾难性风险。

人工智能还可能使国家更难管理其带来的影响。一些专家担心人工智能工具，如深度伪造、大语言模型和更复杂的推荐算法可能会大大降低社会的信息环境，从而降低其危机应对能力。在这种观点中，人工智能工具产生的更有说服力、更个性化、更丰富的错误和虚假信息，以及由人工智能推动的媒体亚文化会造成的更大的媒体两极分化，可能会使公民更容易受到虚假叙述的影响。此外，大语言模型在降低虚假信息操作的成本、提高其质量和规模方面已经显示出潜力，深度造假可能影响政治选举的进程。

四

与危机相关的人工智能安全

对人工智能重大危机的潜在动力有更清晰的认识，可以帮助建立复原力，减少发生重大人工智能灾难的机会。为帮助在人工智能技术发展的同时对人工智能重大危机做好准备，本文提出了与人工智能重大危机相关的人工智能安全的四个维度：

（一）新功能

人工智能工具带来的新功能可能会对一系列领域产生破坏性影响，这些影响可能直接来自人工智能系统本身，可能来自与人工智能相关的邻近科学或技术领域的突破。这些影响在网络、认知、生物和化学安全方面最为突出。在这些领域中，突然出现的人工智能的新功能可能会产生巨大的影响，在某些情况下，还会破坏现有的威慑力量。

（二）技术安全的挑战

净亏损为5.75亿美元，其中包括5.96亿美元的基于股票的薪酬支出及相关税费，这主要是由IPO费用所导致的;每股亏损为8.19美元，好于市场预期的8.71美元。调整后的息税折旧摊销前利润(EBITDA)为1000万美元，上年同期为亏损5020万美元。

随着人工智能工具越来越多地与敏感系统集成，人工智能固有的技术安全挑战将继续产生漏洞。尽管人工智能系统中的技术故障往往令人费解，但它们可能会产生可怕的后果。人工智能工程师目前正在努力解决这些问题，尽管它们能在多大程度上被完全“解决”是一个悬而未决的问题。与许多技术系统一样，随着人工智能系统开发出更强大的功能并应用于新的环境中，这些常见问题可能会逐步得到改善。

（三）将人工智能集成到复杂系统中

将人工智能集成到复杂的系统中会带来额外的安全挑战，可能会产生灾难性的影响。由于更多地关注新功能和技术问题的风险，这方面经常被忽视。但有充分的理由相信，人工智能工具如何集成到更广泛的系统中（包括人类操作员如何在实践中对系统做出反应）将成为人工智能高风险的关键部分。从历史上看，判断失误和人为操作失误往往是许多与自动化相关的悲剧的根源。鉴于这一现实，人机协作领域正在试图辨别自动化支持系统的设计如何能够最好地与不同操作员的认知和情感细节相结合。此外，即使用户或操作员使用人工智能工具的方式没有任何缺陷，将强大的新自动化设备引入更广泛、更复杂的生态系统，也可能产生一系列意想不到的后果。

（四）人工智能发展的条件

人工智能发展的条件将影响人工智能安全的上述方面，即决定投入这些问题的时间、注意力和资源。尽管由于其系统的问题通常难以直接解决，但与人工智能发展条件相关的问题代表了一些早期干预的最佳机会。虽然大型科技公司和地缘政治竞争经常被认为是确保人工智能发展安全友好条件的最突出问题，但它远不是唯一值得关注的问题。安全文化、安全研究投资、社会弹性和工程师的记忆周期都在决定未来几年灾难性人工智能风险方面发挥着重要作用。

五

结论

公众对人工智能重大危机的担忧仍然相当大，部分原因是人工智能技术的快速发展以及“重大危机”与“生存风险”的频繁混淆。与人工智能相关的重大危机的特征是多种多样和复杂的，只要政策制定者在人工智能系统发展的过程中对人工智能安全的各个方面给予足够的关注，人工智能可能带来的重大危机在很大程度上就是可控的。

免责声明：本文转自元战略。文章内容系原作者个人观点，本公众号编译/转载仅为分享、传达不同观点，如有任何异议，欢迎联系我们/转载公众号XXX！

编辑丨郑实

研究所简介

国际技术经济研究所（IITE）成立于1985年11月，是隶属于国务院发展研究中心的非营利性研究机构，主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题，跟踪和分析世界科技、经济发展态势，为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号，致力于向公众传递前沿技术资讯和科技创新洞见。

地址：北京市海淀区小南庄20号楼A座

电话：010-82635522

微信：iite_er互联炒股融资网站