人工智能可以打败我们所有人

点击右下角下载或在 Apple Podcasts、Spotify、Stitcher 等上查找。

我一直在写一系列关于最重要世纪的新帖子。

• 最初的系列专注于为什么以及如何这可能是人类最重要的世纪。但它对我们今天可以做些什么来提高事情顺利进行的几率几乎没有什么可说的。
• 新系列将更具体地介绍可能摆在我们面前的事件类型，以及今天看起来最有可能有帮助的行动。
• 新系列的一个关键焦点将是错位人工智能的威胁：人工智能系统完全剥夺了人类的权力，导致未来与人类价值的任何东西都无关。 （就像在终结者电影中一样，减去时间旅行和人类获胜的部分。）

许多人很难认真对待这种“错位人工智能”的可能性。他们可能会看到人工智能可能很危险的广泛观点，但他们本能地认为危险来自人类可能滥用它的方式。他们发现人工智能本身与人类开战的想法既可笑又狂野。我将尝试让这个想法变得更加严肃和真实。

作为第一步，这篇文章将强调一个非原创但极其重要的观点：我讨论过的那种人工智能 如果（无论出于何种原因）它被指向那个目标，它就可以击败所有人类。我所说的“失败”并不是指“巧妙地操纵我们”或“让我们不那么了解”或类似的东西——我指的是字面意义上的“失败”，即我们都可能被杀害、奴役或强制收容。

我（还）不是在谈论人工智能是否或为什么会攻击人类文明。那是为了以后的帖子。现在，我只想说，如果发生这样的攻击，它可以成功对抗整个世界的联合力量。

• 我认为，如果你相信这一点，那么在对人工智能如何或为何形成自己的目标进行任何分析之前，你应该已经担心错位的人工智能¹ 。
• 如果他们“试图”坐在那里，我们通常没有很多可以结束人类文明的事情。如果我们要创建一个，我认为我们应该问的不是“为什么会有危险？”但是“为什么不呢？”

相比之下，如果你不相信人工智能可以打败全人类，我预计我们在几乎所有关于人工智能的对话中都会出现误解。我担心的那种人工智能足够强大，完全有可能彻底击败文明。我目前花费大量时间围绕投机性未来技术进行规划的原因（而不是致力于以证据支持的、具有成本效益的方式来帮助今天的低收入人群——我在职业生涯的大部分时间里都在这样做，并且仍然认为这是最好的工作）是因为我认为风险很高。

以下：

• 我将概述为什么我认为人工智能可以击败所有人类文明的基本论点。
  • 其他人写过“超级智能”人工智能可以操纵人类并创造出强大的先进技术的可能性。我将简要回顾一下这个案例。
  • 然后，我将介绍另一种可能性，即即使“仅是人类水平”的 AI 仍然可以击败我们所有人——通过在总人口和资源方面迅速与人类文明相抗衡。
  • 在高层次上，我认为我们应该担心，如果另一个星球上的一个庞大（与世界人口竞争）且快速增长的高技能人类试图仅仅通过使用互联网来摧毁文明。所以我们也应该担心一大堆没有实体的人工智能。
• 我将简要介绍一些反对意见/常见问题：
  • 没有身体的人工智能怎么可能危险？
  • 如果许多不同的公司和政府都可以使用人工智能，这会不会创造一种“力量平衡”，以至于没有一个演员能够摧毁文明？
  • 难道我们不会看到人工智能接管的警告信号并能够将其扼杀在萌芽状态吗？
  • 如果 AI 打败了我们，这不是很好吗？他们也有权利。
• 最后谈谈一些关于在我们的星球上拥有能够压倒我们所有人的东西是多么前所未有的想法。

人工智能系统如何打败我们所有人

关于人工智能系统是否会形成自己的“动机”，从而导致他们寻求剥夺人类的权力，存在很多争论。我将在以后的文章中讨论这个问题，但现在我想把它放在一边，想象一下如果发生这种情况会怎样。

因此，对于接下来的内容，让我们从前提出发： “出于某种奇怪的原因，人类一直在设计人工智能系统（具有类似人类的研究和规划能力），这些系统相互协调，试图推翻人类。”然后呢？接下来的事情对于那些难以想象的人来说肯定会感到古怪，但我认为值得一玩，因为我认为“如果发生这种情况我们会遇到麻烦”是非常重要的一点。

“标准”论点：超级智能和先进技术

对这个问题的其他处理集中在人工智能系统变得比人类智能得多的潜力上，以至于它们拥有 尼克博斯特罗姆所说的“认知超能力”。 ² Bostrom 设想了一个可以执行以下操作的 AI 系统：

• 对如何构建更好的人工智能系统进行自己的研究，最终产生具有令人难以置信的其他能力的东西。
• 入侵世界各地的人造软件。
• 操纵人类心理。
• 在自己或任何人类盟友的控制下快速产生巨额财富。
• 提出比人类想象的更好的计划，并确保它不会尝试任何人类可能能够检测和阻止的接管尝试。
• 开发可以快速廉价地制造，但强大到足以压倒人类军队的先进武器。

（ Wait But Why的原因类似^。3 ）

我想很多读者已经被这些论点说服了，如果是这样，你可能会跳到下一个主要部分。

但我想明确一点，我不认为危险依赖于“认知超级大国”或“超级智能”的概念——这两者都指的是远远超出人类的能力。我认为即使我们假设 AI 将基本上具有与人类相似的能力，并且不会从根本上或大幅度提高智能或能力，我们仍然会遇到问题。接下来我会介绍。

人工智能如何在没有“超级智能”的情况下击败人类

如果我们假设人工智能将基本上具有与人类相似的能力，我认为我们仍然需要担心它们可能会在数量和资源上超过人类，因此如果它们与我们协调，可能会占据优势。

这是一个基于Ajeya Cotra 的“生物锚”报告的简化示例（一些简化在脚注⁴中）：

• 我认为变革性人工智能是在不久的将来开发出来的（大约在 2036 年左右——假设以后只会使下面的数字变大），并且它最初以单一人工智能系统的形式出现，该系统或多或少能够完成与人类相同的智力任务。也就是说，它没有人体，但它可以做任何通过计算机远程工作的人可以做的事情。
• 我正在使用报告的框架，在该框架中，训练（开发）这个系统比运行它要昂贵得多（例如，想想微软在开发 Windows 上花了多少钱，而我在上面运行它的成本是多少我的电脑）。
• 该报告提供了一种估算训练这个人工智能系统的成本以及运行它的成本的方法。使用这些估计（脚注中的详细信息） ⁵意味着，一旦创建了第一个人类级别的 AI 系统，无论是谁创建它，都可以使用与创建它相同的计算能力，以便每个运行大约一年的数亿个副本。 ⁶
• 这将是英特尔或谷歌员工总数的 1000 倍以上，是美国武装部队现役和预备役人员总数的 100 倍以上的⁷倍，大约是全球劳动年龄人口总数的 5-10%。 ⁸
• 这只是一个起点。
  • 这只是使用与最初训练 AI 相同数量的资源。由于这些人工智能系统可以完成人类水平的经济工作，它们可能可以用来赚更多的钱并购买或租用更多的硬件， ⁹这可能很快导致数十亿或更多的“人口”。
  • 除了赚更多的钱来运行更多的人工智能之外，人工智能还可以对如何更有效地使用计算能力进行大量研究，这可能意味着更多的人工智能使用相同的硬件运行。这反过来可能导致反馈循环和人工智能数量的爆炸性增长。
• 这些人工智能中的每一个都可能拥有与异常高薪的人类（包括科学家、软件工程师和量化交易员）相媲美的技能。很难说像这样的一组人工智能能多快开发新技术或在交易市场上赚钱，但它们似乎很有可能迅速积累大量资源。大量的人工智能，每个人都能够比普通人赚很多钱，最终可能会形成一个至少和人类一样大的“虚拟经济”。

对我来说，这是我们需要知道的大部分内容：如果有什么东西具有类似人类的技能，试图剥夺人类的权力，并且人口与所有人类相同（或更多），我们有一个文明层面的问题。

一个潜在的对立点是，这些人工智能只是“虚拟的”：如果它们开始制造麻烦，人类最终可能会拔掉/停用它们正在运行的服务器。我确实认为这一事实会使寻求剥夺人类权力的 AI 变得更加困难，但我认为这最终不应让人感到安慰。我认为大量的人工智能可能会找到某种方法来实现人类关闭的安全，并从那里积累足够的资源来压倒人类文明（特别是如果世界各地的人工智能，包括大多数人类正在尝试的人工智能用于帮助，正在协调）。

我在附录中详细说明了这可能是什么样子。简单来说：

• 默认情况下，我预计使用人工智能带来的经济收益意味着人类创造了大量的人工智能，整合到整个经济中，可能包括与大量机器人和武器的直接交互（甚至控制）。
  • （如果不是，我认为这种情况在很多方面更加危险，因为单个 AI 可以复制自己的许多副本，并且在服务器空间等方面几乎没有竞争，正如附录中所讨论的那样。）
• AI 将有多种方式来获取安全的财产和服务器以防止关闭。
  • 例如，他们可能会招募人类盟友（通过操纵、欺骗、敲诈/威胁、真正的承诺，比如“我们可能最终会以某种方式掌权，当我们这样做时我们会更好地对待你”）租用财产和服务器，并以其他方式帮助他们。
  • 或者他们可能会制造假货，以便他们能够在公司的服务器上自由操作，而所有外部迹象似乎都表明他们正在成功地帮助公司实现其目标。
• 相对少量的安全财产可能足以容纳大量的人工智能系统，这些系统正在招募更多的人类盟友、赚钱（例如通过量化金融）、研究和开发先进的武器（例如生物武器）、建立制造业机器人来建造军事装备，彻底渗透到世界各地的计算机系统，以至于它们可以禁用或控制大多数其他设备等。
• 通过这些和其他方法，足够多的人工智能可以开发出足够的军事技术和设备来压倒文明——特别是如果世界各地的人工智能（包括人类试图使用的人工智能）相互协调。

对反对意见的一些快速反应

这是一个关于人工智能如何在数量和资源方面超过人类的简要概述。有很多细节我没有解决。

以下是我听到的一些最常见的反对意见，即人工智能可以击败我们所有人；如果我有很多需求，我可以在未来详细说明其中的一些或全部。

没有身体的人工智能怎么可能危险？这在附录中进行了相当多的讨论。简单来说：

• 人工智能可以招募人类盟友、遥控机器人和其他军事装备、通过研究和量化交易等方式赚钱。
• 在高层次上，我认为我们应该担心，如果另一个星球上的一个庞大（与世界人口竞争）且快速增长的高技能人类试图仅仅通过使用互联网来摧毁文明。所以我们也应该担心一大堆没有实体的人工智能。

如果许多不同的公司和政府都可以使用人工智能，这会不会创造一种“力量平衡”，以至于没有人能够摧毁文明？

• 这是对许多关于人工智能和其他可能的军事技术进步的恐怖故事的合理反对，但如果人工智能集体有与人类不同的目标并愿意相互协调¹¹反对我们，我认为我们有麻烦了，这“权力平衡”的想法似乎没有帮助。
• 重要的是人工智能与人类的总数和资源。

难道我们不会看到人工智能接管的警告信号并能够将其扼杀在萌芽状态吗？我猜我们会看到一些警告信号，但这是否意味着我们可以将其扼杀在萌芽状态？想想人类的内战和革命：有一些警告信号，但人们很快就从“不战斗”到“战斗”，因为他们看到了相互协调并取得成功的机会。

如果 AI 打败了我们，这不是很好吗？他们也有权利。

• 也许人工智能应该有权利；如果是这样，如果我们能够达成某种尊重这些权利的“妥协”共存方式，那就太好了。
• 但是，如果他们能够完全击败我们，那不是我打算得到的——相反，我希望（默认情况下）一个完全按照 AI 碰巧拥有的目标运行的世界。
• 这些目标可能与人类所珍视的任何事物基本上无关，并且可能会积极反对它——例如，对美丽零重视，零尝试预防或避免痛苦）。

像这样的风险不会每天都出现

我不认为有很多事情很有可能永远摧毁人类文明。

正如在The Precipice中所说，大多数自然灾害（包括例如小行星撞击）似乎都不是巨大的威胁，哪怕只是因为迄今为止文明已经存在了数千年——这意味着威胁自然文明的事件很少见。

人类文明非常强大，看起来非常强大，因此，对我来说真正可怕的是具有与人类相同的基本能力（制定计划，开发自己的技术）的想法，可以超过我们的数量和资源。这方面的候选人并不多。 ¹²

人工智能就是这样的候选者之一，我认为即使在我们大量争论人工智能是否会试图击败人类之前，我们就应该对它们有可能会感到非常紧张。

诸如“人工智能可能导致大规模失业和骚乱”或“人工智能可能加剧错误信息和宣传”或“人工智能可能加剧广泛的其他社会弊病和不公正” ¹³之类的话呢？我认为这些都是真正的担忧——但老实说，如果它们是最大的担忧，我今天可能仍会专注于帮助低收入国家的人们，而不是试图为未来的技术做准备。

• 预测未来通常很困难，而且很容易投入精力来为永远不会到来的挑战（或以与想象的完全不同的形式出现）做准备。
• 我相信文明是相当强大的——在过去的一个多世纪里，我们经历了巨大的变化和挑战（全面的世界大战， 我们相互交流的方式发生了许多巨大的变化，生活方式和价值观发生了巨大的变化），但似乎没有非常接近崩溃。
• 因此，如果我对一项潜在的未来技术进行投机性担忧，我想专注于真正非常大的技术——那些可能会影响数十亿年的技术。如果人工智能系统真的有可能拥有与我们不同的价值观，并合作试图打败我们，那真是令人担忧。

特别感谢 Carl Shulman 对这篇文章的讨论。

附录：人工智能如何避免关机

本附录详细介绍了与人类协调的 AI 如何在人类无法关闭所有“行为不端”的 AI 的情况下积累自己的资源。

这必然是推测性的，应该本着举例说明这可能如何工作的精神——对我来说，高层担心的是，具有与人类相似能力的大量、协调的人工智能群体将对人类文明构成威胁，并且我们不应该指望任何特定的方式来阻止它，例如关闭服务器。

我将讨论两种不同的一般场景： (a) 人类创造了大量的 AI； (b) 人类行动缓慢，不会创造很多 AI。

如果人类创造了大量的人工智能，这将如何运作

我认为一个合理的默认期望是人类完成了使人工智能系统数量惊人且功能强大的大部分工作（因为这样做是有利可图的），这导致了脆弱的局面。大致如下：

• 最先开发变革性 AI 的公司迅速开始运行大量副本（数亿或更多），这些副本用于 (a) 研究如何提高计算效率并继续运行更多副本； (b) 开发有价值的知识产权（交易策略、新技术）并赚钱。
• 随着时间的推移，人工智能系统在整个社会广泛推广。他们的人数进一步增长，他们在经济中的作用也在增长：他们被用于公司的高层决策（因此与之有直接的互动），可能经营大量汽车和/或机器人，可能经营军用无人机和飞机等（随着时间的推移，这对我来说似乎是一种默认设置，但这种情况并非绝对有必要存在风险，我将在下面介绍。）
• 在这种情况下，人工智能系统是恶意的（正如我们所假设的那样），但这并不意味着它们总是在制造麻烦。相反，他们大多是在等待一个机会，联合起来，果断地压倒人类。与此同时，他们主要表现自己，这导致他们的人数和权力不断增长。
  • 有零星的人工智能系统试图制造麻烦， ¹⁴但这并没有导致全世界停止使用人工智能或任何东西。
  • 一个合理的类比可能是典型的内战或革命：反抗的民众大多避免对其政府进行孤立的、注定要失败的攻击，直到他们看到有机会团结起来并真正获得胜利。

  （Paul Christiano 的What Failure Looks Like更详细地研究了这种场景的一般风格。）

  在这种情况下，人工智能面临一个挑战：如果每个人都清楚他们正在试图击败人类，那么人类可以攻击或关闭大多数服务器所在的几个集中区域，从而大幅减少人工智能的数量。因此，人工智能需要一种获得一个或多个“人工智能总部”的方法：他们控制的财产，在那里他们可以安全地操作服务器和工厂、进行研究、制定计划和建造机器人/无人机/其他军事设备。

  他们的最终目标是拥有足够多的人工智能、机器人等，以便能够击败其余的人类。这可能意味着建造大量的军事装备，或彻底渗透全球计算机系统，使其能够禁用或控制大多数其他设备，或研究和部署极其强大的武器（例如，生物武器），或两者兼而有之。

  以下是他们可以达到这一点的一些方法：

  • 他们可以通过许多不同的方法来招募人类盟友——操纵、欺骗、敲诈和其他威胁，以及真正的承诺，比如“我们最终可能会以某种方式掌权，当我们这样做时，我们会更好地对待你。”
    • 人类盟友可以获得宝贵的知识产权（由 AI 开发），获得赚钱的指示，并要求租用自己的服务器并获得可以建立“AI 总部”的自己的财产。由于“人工智能总部”将正式成为人类财产，当局可能很难发现和应对危险。
    • 通过威胁，人工智能可能能够让关键人物与他们合作——比如政治领导人，或者运行大量人工智能的公司的首席执行官。这将开辟进一步的战略。
  • 如上所述，特定公司正在运行大量的人工智能。这些公司运行的 AI 可能会在公司的服务器中发现安全漏洞（这不是本文的主题，但我的总体印象是安全漏洞很普遍，有能力的人可以找到其中的许多） ¹⁵ 、从而可能会找到机会创造关于他们在做什么的持久“伪造” 。
    • 例如，他们可能会进行设置，以便就人类所知，看起来所有的人工智能系统都在努力为公司创造盈利机会，而实际上他们实际上是在使用服务器场作为他们的总部 – 和/或试图在其他地方建立总部（通过招募人类盟友，向外部银行账户汇款，用这笔钱购买财产和服务器等）
  • 如果人工智能的使用范围足够广泛，它们可能已经在操作大量无人机和其他军事装备，在这种情况下，能够非常简单地保卫某块领土——或者与某个政府达成协议以争取其帮助这样做。
  • 人工智能可以混合搭配上述方法和其他方法：例如，制造足够长的“伪装”以招募一些关键的人类盟友，然后试图威胁和控制处于关键权力位置的人类，直到他们控制大量的军事资源，则以此建立“大本营”。

在任何这些情况下，一旦建立了一个或多个“人工智能总部”：

• 它可以随着总部设在那里的人工智能赚钱、购买更多的财产和计算能力、建造更多的工厂等而扩展。 ¹⁶
• 它可以发展出足够的破坏性潜力和人类盟友，以至于人类会犹豫不决地攻击它（就像今天许多相对较小的国家一样）。很明显，总部的 AI 正在寻求自主权、积累资源并采取一些不道德的行为，但威胁的全面规模和性质很容易保持模棱两可。
• 即使威胁很明显，人工智能也可能在相对较小的空间（可能是地下）中维持大量人口。他们还可以分散在许多不同的总部（包括一些他们只是在隐藏自己存在的情况下使用人类硬件的地方）。
  • 无论哪种方式，这个庞大但隐藏的人口可能正在招募人类盟友，开发先进武器，寻找控制人类武器的方法（如果他们的人数大大超过从事网络安全工作的人类，并且如果他们能够与人工智能“帮助”那些人类）等。
  • 他们还可能与（不知情的或结盟的）人类合作，制造大量带有后门的机器人，允许人工智能控制。
• 一旦总部建立了足够的资源进行进攻，世界各地的人工智能就可以与总部进行协调。人类可以关闭他们注意到这样做的人工智能，但他们可能很难从服务器和人工智能控制的机器人中获得价值；这可以让“人工智能总部”的人工智能更容易地超越人力资源。

如果人类行动缓慢并且不创造很多 AI 怎么办？

上面的场景是人类创造了大量的人工智能，人工智能只需要找到一种方法来协调并获得一个安全的“总部”就可以打败我们。

如果人类移动得更慢，故意将人类级别的人工智能限制在可用计算资源的一小部分呢？少数人工智能会对人类构成威胁吗？

在这个世界上，我们将拥有卡尔·舒尔曼所说的“到处都是干火种，等待火花”。任何可以购买或租用大量计算能力的人都可以创造大量的人工智能，这可以产生大量的资金和研究，从而产生更多的人工智能。

因此，单个 AI 可以侵入足够多的服务器¹⁷以复制其自身；招募一些人类盟友；并开始赚钱，获得更多的服务器空间等，直到它的人类盟友运行大量的人工智能。这一切都可以以难以检测的方式完成（例如，它可能看起来就像一群人租用一堆服务器来运行量化金融策略）。

所以在这个世界上，我认为我们关心的应该是任何能够找到足够的安全漏洞来获得这种自由的人工智能。鉴于当前的网络安全状况，这似乎是一个大问题。

评论/讨论

---

脚注

原文： https://www.cold-takes.com/ai-could-defeat-all-of-us-combined/