传播信息以帮助最重要的世纪

单击右下角下载或在 Apple Podcasts、Spotify、Stitcher 等上查找。

在最重要的世纪系列中，我认为 21 世纪可能是人类有史以来最重要的世纪，通过先进的人工智能系统的发展，可以大大加快科学和技术进步，让我们比大多数人想象的更快深深陌生的未来。

在这个最近的系列中，我一直试图帮助回答这个问题： “那又怎样？我能帮上什么忙？”

到目前为止，我一直在尝试构建一幅我们可能面临的一些主要风险的图景（尤其是可能击败全人类的错位人工智能的风险）、这些风险可能面临的挑战以及我们为何会成功反正。现在我终于到了可以开始为如何提供帮助提出具体想法的部分（除了我之前给出的非常蹩脚的建议之外）。

这篇文章是关于一种广泛的帮助方式：传播应该被更广泛理解的信息。

我认为这个话题值得一整篇文章的一个原因是，实际上每个人都可以通过与朋友交谈等方式帮助传播至少一些信息；写下你自己的解释，以吸引特定的人；而且，是的，发布到 Facebook 和 Twitter 等等。如果你愿意，可以称之为懒惰主义，但我想这可能是一件大事：许多极其重要的与人工智能相关的想法被极少数人所理解，而且更多的意识可能会滚雪球。特别是因为这些话题常常让人觉得太“奇怪”，以至于谈论它们时感觉很不自在！以可信、合理的方式参与可能有助于形成一种整体背景感觉，即可以认真对待这些想法。

然后有很多潜在的读者，他们可能有特殊的机会来传播信息。也许他们是专业传播者（记者、博主、电视作家、小说家、TikTokers 等），也许他们是非专业人士但仍有大量受众（例如，在 Twitter 上），也许他们拥有不同寻常的个人和专业网络等. 总的来说，你越觉得自己擅长与一些重要的受众（即使是一小部分）交流，这篇文章就越适合你。

也就是说，我对围绕超级简化的消息进行爆破并不感到兴奋。正如我希望本系列节目所展示的那样，摆在我们面前的挑战是复杂而艰巨的，并且会大喊“人工智能是有史以来最大的交易！”之类的话。或“人工智能开发应该是非法的！”弊大于利（如果只是将重要的想法与烦人联系起来的话）。与此相关，我认为传播每个关键想法的最广泛/最相关/最容易达成共识的版本通常不够好，比如“人工智能系统可能危害社会”。一些不直观的细节至关重要。

相反，我提出的挑战是：“尽可能详细地帮助人们了解我们可能面临的挑战的核心部分。”也就是说：我们的目标是试图帮助人们达到他们可以在详细的来回中保持合理位置的地步，而不仅仅是让他们重复几句话或点头同意高水平的观点比如“人工智能安全很重要”。 这比喊“AI 是有史以来最大的交易！”要难得多，但我认为这是值得的，所以我鼓励人们迎接挑战并扩展他们的沟通技巧。

下面，我将：

• 概述这种消息传播的一些一般挑战。
• 回顾一些我认为传播太远有风险的想法，至少在孤立的情况下是这样。
• 浏览一些我很高兴看到传播的想法。
• 谈谈如何传播想法——但这主要取决于你。

人工智能相关消息的挑战

这是一个简单的故事，说明传播信息会如何变得糟糕。

• 您正试图说服您的朋友更加关心 AI 风险。
• 你打算争论：（a）人工智能在我们有生之年可能真的很强大和重要； (b) 过快/不谨慎地构建 AI 可能很危险。
  • 如果他们不以 (a) 的某些版本出售，您的朋友就不会关心(b)。所以你从 (a) 开始。
• 不幸的是，（a）比（b）更容易理解。所以你最终说服了你的朋友（a），而不是（还）（b）。
• 你的朋友宣布，“啊哈 – 我看到人工智能可能非常强大和重要！我需要确保我喜欢的人/国家率先建造它！”并跑去帮助尽快建立强大的人工智能。他们选择了竞争框架（“正确或错误的人会先构建强大的 AI 吗？”）而不是谨慎框架（“我们会把事情搞砸然后全部输掉吗？”），因为竞争框架更容易理解。
• 为什么这样不好？请参阅之前关于谨慎重要性的文章。

（点击展开）关于“竞争”框架与“谨慎”框架的更多信息

在上一篇文章中，我谈到了如何充分利用最重要的世纪的两个对比框架：

警告框架。这个框架强调，一场激烈的开发强大人工智能的竞赛最终可能会让每个人的境况变得更糟。这可能是通过：（a）人工智能形成自己的危险目标并完全击败人类； (b) 人类竞相获得权力和资源并“锁定”他们的价值观。

理想情况下，每个有潜力构建足够强大的 AI的人都能够将精力投入到构建安全（而不是错位）的东西上，并仔细计划（并与他人协商）如何推出它，而不会匆忙或竞争.考虑到这一点，也许我们应该做这样的事情：

• 致力于增进世界主要大国之间的互信与合作。也许是通过以人工智能为中心的Pugwash版本（旨在降低军事冲突风险的国际会议），也许是通过反击鹰派的对外关系举措。
• 阻止政府和投资者将资金投入人工智能研究，鼓励人工智能实验室在发布或扩大研究之前彻底考虑其研究的影响，努力制定标准和监测等。以这种方式放慢速度可以争取更多时间去做研究避免错位的人工智能，更多时间建立信任和合作机制，更多时间总体上获得战略清晰度

“竞争”框架。这个框架不太关注如何过渡到一个截然不同的未来，而是更多地关注谁在做出关键决定。

• 如果像PASTA这样的东西主要（或首先）在 X 国开发，那么 X 国政府可能会就是否以及如何监管新技术的潜在爆炸做出很多关键决定。
• 此外，当时在人工智能和其他技术进步方面处于领先地位的个人和组织可能对此类决策具有特别的影响力。

这意味着“谁引领变革性 AI 的道路”可能非常重要——哪个国家或哪些国家，哪些人或组织。

有些人认为，我们今天可以自信地声明哪些特定国家和/或哪些人和组织，我们应该希望引领变革性 AI 的道路。这些人可能会倡导以下行动：

• 增加第一个 PASTA 系统建立在不那么专制的国家的可能性，这可能意味着例如在这些国家推动对人工智能发展的更多投资和关注。
• 支持并尝试加速由可能做出明智决定的人运行的人工智能实验室（例如如何与政府接触、发布和部署哪些人工智能系统与保密等）

两个框架之间的张力。采用“谨慎”框架的人和采用“竞争”框架的人往往倾向于截然不同，甚至是相互矛盾的行为。在一个框架中对人们来说看起来很重要的动作通常在另一个框架中看起来对人们有害。

例如，处于“竞争”框架中的人往往倾向于尽快开发更强大的人工智能系统；对于处于“谨慎”框架中的人来说，仓促行事是要避免的主要事情之一。处于“竞争”框架的人往往倾向于敌对的对外关系，而处于“谨慎”框架的人往往希望对外关系更加合作。

也就是说，这种二分法是一种简化。许多人——包括我自己——对这两个框架都有共鸣。但我普遍担心，由于多种原因，默认情况下“竞争”框架会被高估，正如我在这里讨论的那样。

不幸的是，我已经在多个重要实例中看到类似上述故事的事情发生（尽管我不应该给出具体的例子）。

当涉及政府内部和周围的人（尤其是国家安全社区）时，我特别担心这种动态，因为我认为政府文化特别痴迷于保持领先于其他国家（“如果人工智能是危险的，我们已经必须首先建造它”）并且对对我们国家有危险的事情相对不感兴趣，因为它们同时对整个世界都是危险的（“也许我们应该非常担心流行病？”） ¹

你甚至可以争辩（虽然我不同意！ ² ）迄今为止，“提高对人工智能危险的认识”的努力弊大于利（通常通过增加对人工智能的投资）。

因此，简单地放弃整个努力是很有诱惑力的——完全远离信息传播，超出你熟悉和/或非常确定会内化重要细节的人。但我认为我们可以做得更好。

这篇文章的目标读者是善于与至少一些听众交流的人。这可能是因为他们的技能、关系或某种组合。总的来说，我希望与那些经常听到你的消息的人（因为他们是你的朋友，或者他们在 Twitter 或 Substack 等上关注你）比通过一些病毒式记忆力接触到的人更成功- 但也许你有足够的技能让后者也能工作，那就太棒了。我要求传播者达到一个高标准：让人们有深刻的理解，而不是让他们重复几句关于人工智能风险的句子。

似乎有孤立传播风险的消息

首先，这里有几条消息，我希望人们不要孤立地传播（或者至少对传播有复杂的感受），即，不要认真努力将我在下面介绍的其他一些消息包括在内。

一类是一般强调强大人工智能系统的重要性和潜在紧迫性的消息。其原因在上一节中：许多人似乎以“我们最好尽快构建强大的 AI，在其他人之前”的态度来回应这些想法（尤其是当没有其他关键想法的时候）。 （如果你对我为什么写最重要的世纪感到好奇，请参阅脚注了解我的想法^。3 ）

另一类是强调 AI 可能对世界有风险/危险的消息，没有太多努力填写如何，或强调易于理解的风险。

• 由于“危险”倾向于暗示“强大和重要”，我认为存在与上一节类似的风险。
• 如果人们对 AI如何以及为什么可能有风险/危险（遗漏关键风险和困难）有一个糟糕的模型，他们可能会太快说“哦，事实证明这种危险没有我想象的那么糟糕，我们走吧”全速前进！” 下面，我概述了误导性的“进展”如何导致过早消除风险。

看似重要且有帮助（而且正确！）的消息

我们应该担心错位的人工智能与全人类之间的冲突

与上一节中讨论的消息不同，此消息直接强调了为什么急于自行构建 AI 可能不是一个好主意。

人工智能可能会伤害构建它的同一个人的想法与人工智能通常可能是危险/强大的想法有着截然不同的含义。少说“我们最好先于其他人到达那里”，多说“有必要在这里缓慢行动并共同努力。”

AI 可能对构建它的同一个人造成问题的想法在 AI 的虚构描述中很常见（ HAL 9000 、 Skynet 、 The Matrix 、 Ex Machina ）——也许太多了？在我看来，人们倾向于回避“科幻”的感觉，需要的是更多地认识到这是一个严肃的、现实世界的问题。

这个案例系列中的主要文章是为什么人工智能“旨在”打败人类？人工智能可以打败我们所有人。关于对齐问题还有很多其他内容（请参阅此处的列表）；另请参阅Matt Yglesias 的案例，该案例专门采用了“终结者”/天网类比。

我特别高兴人们传播信息，帮助其他人理解——在机械层面上——人工智能系统如何以及为什么会以自己的危险目标、欺骗行为等告终。我担心默认情况下，这种担忧听起来就像懒惰的拟人化（像人类一样思考人工智能）。

传递关于“如何以及为什么”的想法比让人们同意“人工智能可能是危险的”要困难得多。我认为可以在简单、可理解但相关的隐喻/类比/示例中付出很多努力（我的作品在这个方向上做了一些努力，但还有很多空间可以做更多）。

人工智能的行为可能具有欺骗性，因此“安全证据”可能具有误导性

我非常担心一系列事件，例如：

• 随着人工智能系统变得越来越强大，出现了一些令人担忧的事件，人们对“人工智能风险”的普遍担忧也在增加。
• 但随着时间的推移，人工智能系统得到了“更好的训练”——例如，给予强化以阻止它们以意想不到的方式行事——因此相关事件变得不那么常见了。
• 正因为如此，担忧消散，人们普遍认为人工智能安全已经“解决”。
• 但实际发生的是，“更好的训练”导致人工智能系统表现出欺骗性——在大多数情况下看起来是良性的，并且只有在 (a) 这不会被检测到或 (b) 人类可以完全被制服时才会造成麻烦.

我担心 AI 系统会像人类一样具有欺骗性：通过一系列推理，比如“如果我做 X，我可能会被抓住，但如果我做 Y，没人会注意到，直到为时已晚。”但很难认真对待这种担忧，因为这意味着将行为归因于我们目前仅与人类相关联的 AI 系统（今天的 AI 系统并不真正做这样的事情⁴ ）。

我试图在本系列中阐明的核心内容之一是为什么AI 系统可能会进行这种系统性欺骗，尽管它与人类非常不同（并且不一定具有例如情感）。这是本系列这两篇文章的主要焦点：

• 为什么人工智能会“旨在”打败人类？
• 人工智能安全似乎难以衡量

这一点是否被广泛理解对我来说似乎非常重要。我们最终可能会遇到这样一种情况：(a) 有巨大的商业和军事动机来推动 AI 的发展； (b) 我们有一组看起来令人放心的实验和观察结果。

在这一点上，人们是否正在就“人工智能安全证据”可能具有误导性的许多方式提出尖锐的问题可能是关键，我在人工智能安全似乎难以衡量中对此进行了详细讨论。

（点击展开）为什么 AI 安全性很难衡量

在之前的文章中，我认为：

• 如果我们雄心勃勃地使用当今 AI 开发中常见的“黑盒试错法”来开发强大的 AI，那么就会存在以下重大风险：
  • 这些人工智能会制定意想不到的目标（它们计算和计划的世界状态，就像下国际象棋的人工智能“瞄准”将死）；
  • 这些 AI 可以根据实现这些目标的需要完全欺骗、操纵甚至从人类手中接管世界。
  • 今天人们正在进行人工智能安全研究以防止出现这种结果，但此类研究存在许多深层次的困难：

  “好消息——我已经测试了这个 AI，它看起来很安全。”为什么我们仍然有问题？
  问题	关键问题	解释
  兰斯阿姆斯特朗问题	我们是否让 AI 变得真正安全或擅长隐藏其危险行为？	在与智能代理打交道时，很难区分“表现良好”和“表现良好”之间的区别。 当职业自行车运动正在打击提高成绩的药物时，兰斯阿姆斯特朗非常成功，似乎异常“干净”。后来发现他一直在使用毒品，并通过异常复杂的操作来隐藏它们。
  李尔王问题	当人类处于控制之下时，人工智能（实际上）表现良好。这会转移到人工智能控制的时候吗？	很难知道某人在对你有权力时会如何表现，仅基于观察他们在没有权力时的行为。 只要人类处于控制之下，人工智能可能会按预期行事——但在未来的某个时刻，人工智能系统可能具备足够的能力和广泛的应用范围，有机会完全控制世界。很难知道他们是否会抓住这些机会，我们也无法对情况进行彻底的测试。 就像李尔王在放弃王位之前试图决定赋予他的每个女儿多少权力。
  实验室老鼠问题	今天的“亚人类”人工智能是安全的。未来的人工智能有更多类似人类的能力吗？	今天的人工智能系统还不够先进，无法展示我们想要研究的基本行为，例如欺骗和操纵人类。 就像试图通过只在实验室老鼠身上做实验来研究人类医学一样。
  第一次接触问题	想象一下，明天的“类人”人工智能是安全的。当人工智能的能力远远超过人类时，事情会怎样发展？	人工智能系统可能（总体上）变得比人类更有能力，而且……真的很难知道那会是什么样子。据我们所知，银河系中从来没有任何东西在相关方面比人类更有能力！无论我们想出什么来解决前三个问题，我们都不能太自信它会继续工作，如果 AI 进步（或只是扩散）更多。 就像尝试计划与外星人的第一次接触（这几乎不像是类比）。

  包含这些挑战的类比是 Ajeya Cotra 的“年轻商人” 类比：

  想象一下，你是一个 8 岁的孩子，他的父母给你留下了一家价值 1 万亿美元的公司，而且没有值得信赖的成年人作为你走向世界的向导。你必须聘请一位聪明的成年人作为 CEO 来经营你的公司，像父母一样处理你的生活（例如，决定你的学校、你的住所、何时需要去看牙医），并管理你的巨额财富（例如，决定将资金投资于何处）。

  你必须根据你想出的工作试用或面试来雇用这些成年人——你看不到任何简历，也不需要做参考调查等。因为你太有钱了，很多人以各种理由申请。 ( 更多)

  如果你的求职者是“圣徒”（真正想提供帮助的人）、“马屁精”（只是想让你在短期内开心，即使这对你的长期不利）和“阴谋家”的混合体“（那些想为自己吸走你的财富和权力的人），你 – 一个八岁的孩子 – 如何区分？

  更多：人工智能安全似乎难以衡量

  在部署强大的系统之前，人工智能项目应该建立并证明安全性（并可能遵守安全标准）

  我已经写过我们可能从“安全标准”中获得的好处。这个想法是，人工智能项目不应部署对世界构成过多风险的系统，正如系统评估制度所评估的那样：人工智能系统可以被审计以查看它们是否安全。我已经概述了人工智能项目如何通过公开承诺对其系统进行审计（而不是部署危险的系统）来进行自我监管，以及政府如何在国内和国际上执行安全标准。

  今天，安全标准的制定还处于起步阶段。但随着时间的推移，我认为人工智能项目在满足安全标准方面承受的压力有多大可能会很重要。而且我认为现在开始传播人工智能项目不应该单方面决定将具有潜在危险的系统放到世界上的信息还为时过早；在这样做之前，他们应该承担证明和建立安全的责任。

  （点击展开）标准如何建立并成为国家或国际标准

  我之前在这方面提出了一个可能的愿景，我将在此处提供一个稍微修改过的版本：

  • 当今领先的人工智能公司可以通过承诺不构建或部署他们无法令人信服地证明安全的系统来进行自我监管（例如，请参阅谷歌2018 年的声明，“我们不会在武器或其他技术中设计或部署人工智能，其主要目的是或实施是造成或直接促进对人的伤害”）。
    • 即使公司中的一些人想要部署不安全的系统，一旦公司承诺不这样做，也很难实现。
    • 即使在证明人工智能系统安全意味着什么方面有很大的判断空间，但事先同意某些证据不够好可能会有很长的路要走。
  • 随着越来越多的 AI 公司成立，他们可能会感受到软压力而需要进行类似的自我监管，而拒绝这样做会让潜在的员工、投资者等感到反感。
  • 最终，类似的原则可以纳入各种政府法规和可强制执行的条约中。
  • 政府可以通过监管甚至海外运营来监控危险项目。例如，今天美国（未经许可）监视其他国家可能正在开发核武器的各种迹象，并可能试图通过制裁威胁、网络战甚至军事攻击等方法阻止此类开发。它可以为任何使用大量计算并且没有自愿提供有关它们是否符合标准的信息的​​人工智能开发项目做类似的事情。

  对齐研究是亲社会的和伟大的

  大多数阅读本文的人都无法成为 AI 对齐方面的开创性研究人员。但它们可以有助于形成一种普遍的感觉，即能够（大部分）做到这一点的人应该这样做。

  今天，我的感觉是大多数“科学”工作都非常有声望，并且被视为对社会有益。我对此有很复杂的感觉：

  • 我认为科学在历史上一直对人类有益。
  • 但我担心，随着技术变得越来越强大，灾难（尤其是通过人工智能或生物武器）的风险越来越大，会抹杀迄今为止取得的所有进展，然后再抹去一些。 （我已经写过，迄今为止的历史趋势可以说符合“日常暴力减少，被越来越大的罕见灾难所抵消。”）我认为我们当前的时代将是采取“谨慎行事”态度的好时机而不是“全速前进”。
  • 我对 Toby Ord 的评论（在The Precipice中）产生了共鸣，“人类就像一个青少年，身体能力迅速发展，智慧和自制力滞后，很少考虑其长远的未来和不健康的风险偏好。”

  一般来说，我希望有更多的努力来区分特别危险的科学和特别有益的科学。人工智能对齐似乎完全属于后一类。

  我特别高兴人们传播信息，让人们了解不同 AI 对齐研究路径的细节，它们可能如何帮助或失败，以及它们在科学/智力上有趣的地方（不仅仅是有用的）。

  本系列中的主要相关文章是对 AI 对齐的高层次希望，它提炼了我在对齐论坛上发布的一篇较长的文章（ 如果它很快开发出来，我们如何对齐变革性 AI？ ）。

  我认为还有许多（希望不断增长的）其他职业特别有价值，我将在下一篇关于该主题的帖子中讨论这些职业。

  公司（和其他机构）以不同寻常的方式行事可能很重要

  在《雷区竞速：AI 部署问题》中，我写道：

  许多最有帮助的行动可能是“与众不同的”。在穿越雷区时，我希望主要参与者能够：

  • 在协调、威胁评估和安全方面投入比商业激励所要求的更多的精力；
  • 考虑避免可能非常不寻常，甚至前所未有的种族和全球监控的措施。
  • 在可能存在模棱两可、令人困惑的风险信息的情况下执行所有这些操作。

  当我与 AI 公司的人交谈时，总是让我汗流浃背，他们似乎认为商业成功和造福人类是大致相同的目标/想法。

  （需要明确的是，我认为人工智能项目的唯一目标不应该是避免人工智能错位的风险。我将这种风险放在这篇文章的中心位置，部分原因是我认为它特别容易被过快地忽视- 但我不认为这是唯一的主要风险。我认为人工智能项目需要在谨慎和竞争框架之间取得微妙的平衡，并考虑超出偏差风险的许多问题。但我认为这是一个非常稳健的观点他们需要准备好做不寻常的事情，而不是仅仅遵循商业激励。）

  我对这样一个世界感到紧张：

  • 大多数人坚持他们所知道的范式——公司应该关注股东价值，政府应该关注本国公民（而不是全球灾难性风险）等。
  • 随着进步步伐的加快，我们坐在这里的各种法律、规范和制度并非针对我们所面临的问题而设计——而且无法及时适应。标准公司的治理方式就是一个很好的例子：在法律上和结构上，它有义务完全专注于造福股东，而不是全人类。 （有其他方法可以避免这些问题来设立公司！ ⁵ ）

  至少（正如我之前所说的），我认为人工智能公司应该确保他们拥有他们需要的任何不寻常的治理设置，以便在风险变高时优先考虑人类的利益——而不是股东的回报。我认为，如果更多人相信这样的话，我们会看到更多这样的事情：“公司（和其他机构）以不同寻常的方式行事可能很重要。”

  我们还没准备好

  如果我们正处于最重要的世纪，我们面前可能会面临大量潜在挑战，其中大部分都很少受到关注。 （更多信息：变革性 AI 问题（不仅仅是错位）：概述）

  如果有可能减慢一切，默认情况下我认为我们应该这样做。除此之外，我至少希望看到人们通常以“我们正在处理一件非常大的事情，我们应该非常努力地保持谨慎和谦虚，深思熟虑”（而不是像“科学很有趣，让我们努力吧”或“这太棒了，我们会变得富有”或“不管怎样，谁在乎”之类的话）。

  我将从较早的文章中重新摘录此表：

  情况	适当的反应（海事组织）
  “这可能是一家价值数十亿美元的公司！”	“呜呜呜，我们去吧！”
  “这可能是最重要的世纪！”	“……哦……哇……不知道说什么好，有点想吐……我得坐下来好好想想这个。”

  我对此一点也不确定，但传播这一信息的一种潜在方式可能是，以尽可能多的科学现实主义、细节和可信度来交流，关于爆炸性科学和技术进步带来的世界可能会是什么样子由人工智能（例如，一个有数字人的世界）。我认为这样一个世界可能面临的某些问题的巨大陌生感——以及乌托邦或反乌托邦的巨大可能性——可能会鼓励一种不想仓促前进的态度。

  如何传播这样的信息？

  我试图写一个系列来向细心的读者解释关键问题，希望能更好地让他们传播有用的信息。从这里开始，个人传播者需要考虑他们认识的受众和他们使用的媒体（Twitter？Facebook？散文/时事通讯/博客文章？视频？面对面的对话？）以及什么对这些受众和媒体有效。

  我想提倡的主要准则：

  • 错误地倾向于持续的、重复的、基于关系的交流，而不是优先考虑“病毒爆发”（除非你非常擅长后者，以至于你很高兴以这种方式传播这篇文章中非常微妙的想法！）
  • 志存高远：尝试实现“我的听众真正理解了要点”的困难目标，而不是“我的听众已经为某种相关想法点击了‘喜欢’按钮”这样更容易的目标。
  • 我在写作中得到的一致反馈是，让事情尽可能具体是有帮助的——所以给出与我们担心的问题类似的真实世界的例子，或者简单的类比是容易想象和记住，可能是关键。但重要的是要仔细选择这些，以免丢失关键动态。
  

  评论/讨论

  脚注

  ---

  1. Killer Apps和Technology Roulette是一些有趣的作品，它们试图向政策制定者推销“优势并不等同于安全”的理念。 ↩

  2. 当我想象如果没有任何“提高意识”的努力，世界会是什么样子时，我想象的是一个对变革性人工智能的主要风险——或周围社区——的意识几乎为零的世界。虽然这个世界在危险的人工智能被开发出来之前可能还有更多时间，但总的来说这似乎更糟。未来的一篇文章将详细阐述我认为体面规模的社区可以帮助降低风险的多​​种方式。 ↩

  3. 我确实认为“人工智能可能会成为一件大事，而且很快”是一个非常重要的观点，它在某种程度上是理解该主题并就此开展有益工作的先决条件，我想让这个想法对一些人来说更容易理解和更可信的人 – 以及创造更多的机会来获得关键反馈并了解我做错了什么。

     但我对本节中提到的问题感到紧张。考虑到这一点，我做了以下事情：

     • The title, “most important century,” emphasizes a time frame that I expect to be less exciting/motivating for the sorts of people I’m most worried about (compared to the sorts of people I most wanted to draw in).
     • I tried to persistently and centrally raise concerns about misaligned AI (raising it in two pieces, including one (guest piece) devoted to it , before I started discussing how soon transformative AI might be developed), and extensively discussed the problems of overemphasizing “competition” relative to “caution.”
     • I ended the series with a piece arguing against being too “action-oriented.”
     • I stuck to “passive” rather than “active” promotion of the series, eg, I accepted podcast invitations but didn’t seek them out. I figured that people with proactive interest would be more likely to give in-depth, attentive treatments rather than low-resolution, oversimplified ones.

     I don’t claim to be sure I got all the tradeoffs right. ↩

  4. There are some papers arguing that AI systems do things something like this (eg, see the “Challenges” section of this post ), but I think the dynamic is overall pretty far from what I’m most worried about. ↩

  5. Eg, public benefit corporation ↩

原文： https://www.cold-takes.com/spreading-messages-to-help-with-the-most-important-century/