暂停思考：人工智能暂停辩论

…

在应用程序中阅读

我。

上个月，有效利他主义中心的本·韦斯特 (Ben West)主持了一场由长期主义者、预测者和 x 风险活动人士参加的关于暂停人工智能的辩论。

每个参与其中的人都认为人工智能是危险的，甚至可能毁灭世界，所以你可能会认为暂停——甚至完全停止——是理所当然的。事实并非如此。参与者无法就“暂停”的基本含义、是否可能、或者是否会让事情变得更好或更糟达成一致。

至少对于成功暂停需要什么条件达成了一些共识。参与政府将禁止“前沿人工智能模型”，例如使用比 GPT-4 更多训练计算的模型。较小的模型或新模型的新颖用途都可以，否则将面临 FDA 之类的监管机构。各国将通过监控高性能微芯片对国内公司实施禁令；他们将通过禁止出口此类芯片以及执行条约的通常外交手段（例如核不扩散）来对非参与国政府强制执行。

主要的分歧是：

1. 这样的暂停可能有效吗？

2. 如果是的话，是好是坏？

3. 如果好的话什么时候实施？我们什么时候应该举起它？

我将意见分为五类：

简单的暂停：如果我们只是要求人工智能公司暂停六个月怎么办？或者可能需要更长的时间？

这是FLI 暂停巨型人工智能实验公开信中的要求，该公开信由数千名人工智能科学家、商人和思想领袖签署，其中包括这场辩论的许多参与者。所以你可能会认为辩论组织者可以找一个人来争论这一点。他们不能。这封信是一种淡化的妥协，以至于没有人真正支持它，尽管每个人都签署了它以表达对它所妥协的一个或另一个立场的支持。

为什么人们不想要这个？首先，大多数人认为人工智能公司无论如何都需要花费六个月以上的准备工作才能开始训练下一个大模型，所以这是没有用的。其次，即使我们这样做，六个月后暂停也会结束，然后我们或多或少就处于现在的状态。除了更糟糕之外，还有两个原因：

1. 计算悬垂。我们预计人工智能技术会随着时间的推移而进步，原因有两个。首先，算法进步——人们学习如何以更聪明的方式制造人工智能。其次，硬件进步——摩尔定律产生了更快、更便宜的计算机，因此在给定的预算下，我们可以在更强大的硬件上训练/运行人工智能。暂停可能会稍微减慢算法的进度，因为用于测试新算法的大型人工智能会更少。但这根本不会减慢硬件的进步。在暂停结束时，硬件会取得一定程度的进步，而人工智能在接下来的六个月里不会逐渐进步，而是在暂停结束时取得巨大的进步，所有公司都争先恐后地构建新的人工智能，以利用这一优势过去六个月的进展。但渐进式进步（允许在相对简单的人工智能中进行迭代和调试）似乎比突然进步更安全（突然间我们拥有了比我们以前见过的任何东西都强大得多的人工智能）。因为这样的停顿只是用突然的进步代替了渐进，所以会适得其反。

2. 比赛中燃烧的时间线。假设我们更希望美国先于中国获得强大的人工智能。如果美国暂停而中国没有，那么暂停之后我们就会回到之前的状态，只是中国相对于美国会迎头赶上。更一般地说，最关心人工智能安全的公司最有可能遵守暂停规定。因此，除非我们非常善于强制暂停，即使是对不合作的人，这只会伤害最关心安全的公司，而不会带来任何好处。

这些都被一项好处所抵消：

1. 有更多时间进行调整。也许我们可以利用这六个月来更多地了解如何控制人工智能，或者在社会/政治上为它们做好准备。

这种好处是真实的，但这种暂停并不能优化它。技术一致性研究受益于先进的模型进行实验；手术暂停策略更加重视这一点。社会/政治准备取决于某种计划：这就是监管暂停策略所增加的内容。

手术暂停：手术暂停对简单暂停进行了调整，添加了两个额外的注意事项：

1. 何时暂停。如果我们要暂停六个月，应该是哪六个月？现在？几年后？就在危险的人工智能被发明之前？暂停的主要好处是给对齐研究时间来赶上。但当研究人员拥有更先进的人工智能进行实验时，比对研究效果会更好。因此，在危险的人工智能发明之前，我们可能应该暂停六个月。

2. 暂停多长时间。长时间停顿的最大缺点是，它给了不良行为者（例如中国）一个迎头赶上的机会。假设西方正处于创造危险人工智能的边缘，而中国距离创造危险的人工智能还有两年时间。似乎暂停的正确长度是1.9999年，这样我们就可以获得最大的额外对齐研究和社会准备时间的好处，但西方仍然击败了中国。

显然，外科手术暂停的问题在于，我们可能不知道何时处于危险人工智能的边缘，而且我们可能不知道“好人”有多少领先优势。手术暂停的支持者建议对这两个自由变量都非常保守。这并不是一个经过深思熟虑的计划，而是更多地说“来吧，伙计们，让我们至少尝试在这里采取战略行动”。在极限情况下，这表明我们可能不应该从现在开始六个月内暂停。

由于这涉及领先实验室为了安全而浪费时间，理论上它可以由单个领先实验室单方面完成，无需国际、政府甚至实验室间的协调。但如果你也得到了这些东西，你就可以赢得更多时间。一些领先的实验室已经承诺在时机成熟时这样做——例如OpenAI和DeepMind （之前的迭代） ——可信度各有不同。

AnonResearcherAtMajorAILab 在Aim For Conditional AI Pauses中讨论了一些策略， 这篇 Less Wrong 帖子也非常好。

监管暂停：如果简单暂停的好处之一是利用时间在社会和政治上为人工智能做好准备，也许我们应该暂停，直到完成社会和政治准备。

大卫·曼海姆（David Manheim）建议设立一个像 FDA 这样的监控机构。它将“快速跟踪”小型人工智能和现有人工智能的简单重新应用，但会仔细监控新的“前沿模型”是否存在危险迹象。监管机构可能会通过要求人工智能入侵计算机或传播自身副本来寻找危险功能，或者测试它们是否已针对偏见/错误信息等进行了编程。我们只能暂停，直到我们建立了监管机构，并且只对那些不与我们的监管机构合作或不建立自己的国内监管机构的其他国家采取敌对行动（例如限制芯片出口）。

科技界的许多人都是对监管持怀疑态度的自由主义者，但支持者指出，监管在可预见的方向上失败了：它通常确实成功地阻止了坏事，但它也只是阻止了好事。自1975年核管理委员会成立以来，美国从未发生过重大核事故。当然，这是因为从 1975 年到 2023 年，NRC 根本禁止美国建造任何核电站（一座核电站最终于7 月建成）。尽管如此，他们在技术上还是完成了任务。同样，美国的大多数药物都是安全且相对有效的，但代价是 FDA 批准程序的成本非常昂贵，以至于我们每年只能获得一小部分新药物，数十万人因不必要的延误而死亡。但药物是安全有效的。或者：旧金山住房监管机构几乎从不批准新住房，因此住房成本高达数百万美元，成千上万的旧金山人无家可归——但肯定不会出现坏房子获得批准然后毁掉某人的观点或其他事情的情况。如果我们将这一记录推断到人工智能，人工智能监管机构将过于谨慎，进展将放缓几个数量级或完全停止——但人工智能将是安全的。

如果你认为先进人工智能的问题仅限于更多垃圾邮件或其他东西，那么这是一个令人沮丧的前景。但如果你担心人工智能会毁灭世界，也许你应该接受旧金山住房级别的障碍和挫败感。

如果你认为监管暂停会更稳定（许多行业永远受到严格监管，只有少数自由主义者抱怨），或者如果你认为监管机构偶尔会允许少量安全的监管，那么监管暂停可能比完全停止更好。人工智能正在取得进步。

但如果你预计无论监管如何，持续的进步最终都会产生不安全的人工智能，那么这可能比完全停止更糟糕。如果您担心欺骗性的一致性，例如超级智能人工智能会故意欺骗监管机构，让他们认为自己是安全的，那么您可能会想到这一点。或者你可能认为人工智能最终会变得如此强大，甚至在官方批准之前，它们就可以在封闭的测试环境中危及人类。经典的博斯特罗姆/尤德科夫斯基对齐模型意味着这两件事。

大卫·曼海姆 (David Manheim) 和托马斯·拉森 (Thomas Larsen) 在《暂停中发生了什么？》中阐述了他们首选的这一策略版本。以及减轻人工智能风险的政策想法。

彻底停止：如果你期望人工智能表现出欺骗性的一致性，能够愚弄监管机构，或者非常危险，甚至在监管机构的计算机上测试它们也可能带来世界末日，那么也许唯一的选择就是全面停止。

很难想象完全停止能持续几年以上。你至少面临三个问题：

1. 非参与者。与任何暂停提​​案一样，不友好的国家（例如中国）可以继续研究人工智能。你可以拒绝向他们出口芯片，这会稍微减慢他们的速度，但他们自己的芯片最终将能够胜任这项任务。你要么需要外交奇迹，要么愿意诉诸较少外交形式的胁迫。这不一定是立即的战争：以色列已经想出了“创造性”的方法来减缓伊朗的核计划，而试图挫败中国芯片行业的国家也可以这样做。但大国之间相互玩这种游戏可能会引发更广泛的冲突。

2. 算法进展。假设政府禁止除受到严格监管的公司之外的任何人拥有比笔记本电脑更大的计算机。现在你无法在笔记本电脑上训练一个好的人工智能，甚至无法在一组笔记本电脑上训练。但人工智能训练方法每年都变得更加高效。如果当前的研究进展继续下去，那么在某个时候——即使是几十年后——你将能够在笔记本电脑上训练尖端的人工智能。

3. 硬件进步。此外，由于摩尔定律，笔记本电脑不断变得更好。

监管机构可以控制超级计算机的流量，至少在国内是这样。但最终技术将发展到可以在任何事情上训练人工智能的程度。那么你要么必须禁止所有计算，将其限制在逐渐更加极端的水平（1990 MS-DOS 机器！不，打孔卡！），要么接受人工智能即将发生。

不过，你可以想象这会给我们带来几十年的时间。罗布·本辛格 (Rob Bensinger) 在对曼海姆的《暂停中的内容是什么？》的评论中为这一观点辩护。 ，这也是 Holly Elmore 向公众倡导人工智能案例²的背景。

没有暂停：或者我们不能做任何事情。

如果我们认为对齐研究进展顺利，而暂停会搞砸，或者导致计算溢出导致无法研究的快速起飞，或者将领先优势让给中国，也许我们应该坚持当前的进展速度。

诺拉·贝尔罗斯 (Nora Belrose) 在《人工智能暂停可能会适得其反》中提出了这一论点。具体来说：

[停顿]会产生一些可预见的负面影响：

1. 非法人工智能实验室在暂停国家内发展，远程使用外包给非暂停国家的训练硬件来逃避检测。非法实验室对安全的重视可能远低于合法实验室。

2. 最缺乏安全意识的人工智能研究人员正在流失到总部位于非暂停国家的实验室。由于远程工作，他们不一定需要离开舒适的西方家。

3. 非暂停国家政府采取机会主义举措鼓励人工智能投资和研发，试图在有机会的时候超越暂停国家。同样，这些国家的安全意识不如暂停国家。

4. 安全研究需要政府批准才能评估其潜在的外部能力。这大大减慢了安全性的进展，就像 FDA 减慢了医学研究一样。

5. 法律实验室利用“前沿”模型定义中的漏洞。许多项目在技术上是被允许的；例如，它们的参数比 GPT-4 少，但使用效率更高。这以难以预测的方式扭曲了研究格局。

6. 随着时间的推移，强制暂停变得越来越困难，因为训练硬件越来越便宜且小型化。

7. 是否、何时以及如何解除暂停成为高度政治化的文化战争问题，几乎完全脱离了安全研究的实际状况。公众不理解双方的关键论点。

8. 暂停国家和非暂停国家之间的关系总体上是敌对的。如果国内对暂停的支持很强烈，那么在非暂停国家的研究进展太远之前，就会有对它们发动战争的诱惑。 “如果情报显示未签署协议的国家正在建设 GPU 集群，与其担心国家之间发生枪击冲突，不如担心违反暂停令；愿意通过空袭摧毁流氓数据中心。” — 埃利泽·尤德科夫斯基

9. 暂停国家之间对于何时解除暂停存在激烈冲突，这也可能导致暴力冲突。

10. 非暂停国家的人工智能进展设定了一个最后期限，如果要达到预期效果，暂停必须结束。 ^[8]随着非暂停国家开始迎头赶上，要求尽快解除暂停的政治压力越来越大。这使得逐渐解除暂停变得困难，增加了危险的快速起飞场景的风险。

对于像“信任”或“担心”这样的每个词，假设我的意思是“……足以胜过其他考虑”

除了这个总体弧线之外，辩论还包括其他一些要点：

霍莉·埃尔莫尔 (Holly Elmore)在《向公众宣传人工智能的案例​​》中指出，支持暂停的积极分子应该更愿意向公众公开他们的案例。 EA 长期以来一直试图与公司和监管机构合作，但对其执行抗议、广告和活动的能力不太有信心。但在大多数西方国家，公众讨厌人工智能并希望阻止它。如果你也想阻止的话，民主制度提供了肥沃的土壤。 Holly 言出必行，并在旧金山 Meta 办公室领导反人工智能抗议活动；第一个是上个月的，但以后可能会有更多。

资料来源：人工智能政策研究所和 YouGov，h/t Holly

马修·巴尼特 (Matthew Barnett)在《人工智能无限期暂停的可能性》中表示，一旦开始暂停，就很难控制暂停的长度，并且可能会比那些预期精心计划的外科手术暂停的人更长的时间。他指出，所谓的临时暂停后来变成了永久性的（例如地上核试验禁令、各种基因工程禁令），以及监管机构变得如此严格，导致其监管主题基本上不再发生（例如几十年来核电站建设） ）。这种无限期的暂停要么会因计算过剩的灾难性现实而崩溃，要么需要越来越严厉的国际压力来维持。他认为这是反对大多数形式的暂停的有力论据，尽管他愿意考虑看起来有点像监管的“许可”制度。

昆汀·波普 (Quintin Pope)在《人工智能默认是中心化，别让事情变得更糟》一书中表示，人工智能的最大威胁是权力中心化，无论是对独裁者还是企业。人工智能可能是比人类更忠诚的走狗，并且可以让人们比通常的方法更有效地将权力（包括政治权力和金钱）转化为情报。他的兴趣主要在于限制损害，这使他在这场辩论中倾向于其他大多数人。他会支持让小型实验室更容易赶上大型实验室的监管，或者限制人工智能权力集中使用的监管，但反对将人工智能权力集中到一些据称更安全的大公司的监管。

每个国家都有多少人认为人工智能利大于弊。 Pope 使用这张表来表明人工智能监管将是去中心化的，因为最领先的国家最渴望监管。资料来源：益普索； h/t 昆廷

二.

对于“辩论”来说，参与者之间缺乏太多的参与。大多数人贴出宣言后就回家了。

诺拉（Nora）帖子“人工智能暂停可能会适得其反”的评论部分是个例外。和往常一样，很多讨论只是为了澄清大家在争论什么，但也有一些真正的争论：

• 杰拉尔德·门罗认为，核武器的历史表明，这样的停顿是不可能的（因为许多国家确实制造了核武器）。大卫·曼海姆认为，这表明这样的暂停可能会起作用（因为有一些成功的军备限制条约，并且核扩散比没有国际合作时发生的情况要少）。曼海姆还提出了对破坏臭氧层的氟氯化碳和人类克隆的成功禁令。

• 诺拉认为大多数此类条约都失败了，而一项成功的条约必须涉及某种程度的全球暴政。大卫·曼海姆认为，大多数条约都起到了一定的作用，即使它们没有完全达到他们想要的目的，而且迄今为止没有一个条约导致了全球暴政。比照。 《凯洛格-布里安条约》就是一个条约的例子，该条约虽然没有完美成功，但可能是有益的。

• 诺拉认为，为对齐研究人员提供先进的模型进行实验非常重要，因为在有趣的人工智能出现之前（例如博斯特罗姆的超级智能），那种纸上谈兵的对齐研究不仅是错误的，而且培育了比没有更糟糕的死胡同继续下去的范式来混淆领域。丹尼尔·菲兰（Daniel Filan） 反对博斯特罗姆（Bostrom）做对了一些事情，甚至描述了现代对齐研究正在采取的方向之类的东西。对此有一个很长的争论，我认为可以归结为“博斯特罗姆说了一些有用的理论东西，推测了实际方向，他的一些推测是正确的，但大多数现在看来已经过时了”。

• 扎克·斯坦-帕尔曼（Zach Stein-Perlman）就使暂停变得更好与更差的技术因素提出了一些很好的观点，我试图将其纳入上面的“外科手术暂停”部分。

• 诺拉（Nora）认为，成功地使语言模型表现良好（例如，即使被问到也拒绝说种族主义的话）表明到目前为止，一致性进展得相当顺利。许多其他人（例如拉斐尔·哈斯（Rafael Harth） 、史蒂文· 伯恩斯（Steven Byrnes ））认为这会产生欺骗性的联盟，即人工智能对拥有权力的人类说好话，但秘密地有不同的目标，因此在这一领域的成功并不能说明真正的联盟成功甚至有点令人担忧。这个问题仍然没有解决。

在《暂停怎么会失败？》大卫·曼海姆讨论了他自己从这场辩论中得到的收获：

我最大的惊讶是所使用的术语具有多么大的误导性，并且认为许多反对者反对的东西与支持者感兴趣的建议不同。甚至有一些支持者 其次，我非常惊讶地发现有人反对这样的说法：人工智能可能不安全，并且可能会带来严重的未来风险，这主要是因为系统将默认对齐 – 即没有任何强制的安全机制。我还发现，有一个不平凡的团体出于安全原因想要将 AI 进展回滚到 GPT-4 之前，而不是出于工作取代和版权原因。 杰拉尔德·门罗（Gerald Monroe）让我确信，全面暂停核武器比我之前根据核武器的类比所论证的要困难。 （我不相信“如果一系列极其不可能的事件同时发生，这种情况就不会发生”——主要是因为我认为各国将有动力维持现状。）我最相信马修·巴尼特的说法： 如果实施限制，先进的人工智能可能会推迟十年——我不太乐观，或者他会声称是悲观的。如上所述，我非常不相信一项被认为无关紧要的政策会无限期地保留下去。我也不认为有任何理由期待一个固定时间的天真暂停，但他让我相信这比我之前想象的更合理 – 我同意他的观点，但不同意罗布·本辛格的观点，关于有多糟糕这可能是。最后， 诺拉让我相信，绝大多数立场差异都是预测性的，而不是价值观的差异。那些对一致性持乐观态度的人反对暂停，在大多数情况下，我认为那些对一致性持悲观态度的人愿意接受特定系统是安全的证据。这是非常令人振奋的，因为我认为随着时间的推移，我们将继续看到某个方向或另一个方向的证据，说明可能发生的事情，如果我们能够保持一种侦察心态，我们将（最终）就前进的道路达成一致。

三．

补充一些我自己的想法：

首先，我认为在这里担心世界独裁是愚蠢的。全球条约的失败模式是条约没有签署或不起作用。考虑各种全球变暖条约（例如京都议定书）或联合国。尽管许多普通人（即非 x 风险信徒）不喜欢人工智能并同意禁令，但当它开始干扰他们的笔记本电脑或游戏设备时，他们不会支持它，更不用说如果它需要放弃国家主权联合国什么的。

其次，如果我们永远得不到人工智能，我预计未来将是短暂而严峻的。我们很可能用合成生物学自杀。如果不是， 技术和经济停滞、 极权主义崛起+ 反自由主义的某种组合 + 暴政、 生育率崩溃和基因缺陷将使世界陷入贫困，并加速其制度质量的衰退。我不会花太多时间担心这些问题，因为我认为它们需要几代人的时间才能达到危机水平，而且我预计技术会在那之前扭转游戏规则。但如果我们禁止所有游戏板翻转技术（我所知道的唯一另一种技术是基因增强，这甚至更应该禁止），那么我们最终会导致生物武器灾难或社会崩溃。我之前说过，我认为人工智能毁灭世界的可能性约为 20% 。但如果我们没有人工智能，我认为未来 100 年我们有 50% 以上的机会最终死亡或走向委内瑞拉。这并不意味着我必须支持人工智能加速主义，因为 20% 小于 50%。短暂的、精心设计的暂停可以大大提高人工智能顺利进行的机会，同时又不会增加太多社会崩溃的风险。但这是我心里的事。

第三，大多数参与者都同意暂停必然是暂时的。一旦技术变得如此先进，你可以在笔记本电脑上训练人工智能，那么就没有简单的方法来强制执行它，并且（如果没有更广泛地采用x风险论点）政府不会容忍采取强硬的方法。奇点预测小部件当前预测 2040 年。如果我做出重大改变，让每个人都缺乏计算资源，我最多可以将其推迟到 2070 年。这在一定程度上消除了我对上述担忧的担忧，但并非完全如此。马修·巴尼特谈到暂时的停顿是否会变成永久性的，并得出结论，如果没有全球警察国家，可能就不会这样。但我认为 100 年前的人们会对加利福尼亚州有效禁止建造房屋感到惊讶。我认为，如果 100 年前某个反众议院激进分子提出了这一点，人们会告诉她，如果没有一个超级能干的警察国家，这是不可能的。

第四，有很多观点认为暂停是不可能的，但他们大多不反对尝试。我们可以开始谈判一项国际人工智能暂停条约，只有在足够多的其他国家同意我们不希望单方面妨碍自己的情况下才签署该条约。所以“中国绝对不会同意！”这本身并不是反对开始外交的理由，除非你期望仅仅开始谈判就会产生不可抗拒的签署政治势头，即使最终条约是针对我们的。

第五，很大程度上取决于更好的模型是否会使对齐研究变得更容易。我只与少数对齐研究人员讨论过这个问题，但他们说他们仍然忙于 GPT-4。我希望看到关于此的更广泛的调查（可能有人做过这些，我只是不知道在哪里）。

我发现自己愿意考虑尝试监管或手术式的暂停——如果支持者能够确保多边合作，那么这是一个强有力的暂停，否则就是一个较弱的暂停，旨在不让我们落后于敌对国家（这可能不像听起来那么难；到目前为止，中国已经只是复制了美国的进步；是否能进行前沿研究还有待观察）。我并不完全相信政府能够正确处理这个问题，但我愿意在拒绝之前看看他们会提出什么建议。

感谢本和所有参与的人。您可以在此处找到所有帖子，包括我没有涵盖的一些非官方的最新帖子。

© 2023 Scott Alexander
548 Market Street PMB 72296, San Francisco, CA 94104
退订