人工智能公司今天可以做些什么来帮助这个最重要的世纪

单击右下角下载或在 Apple Podcasts、Spotify、Stitcher 等上查找。

我一直在写我们今天可以做的有形的事情，以帮助最重要的世纪顺利进行。以前，我写过有关传播有用信息以及如何通过全职工作提供帮助的文章。

这篇文章是关于主要人工智能公司可以做什么（和不做什么）来提供帮助的。我所说的“主要 AI 公司”是指那些正在推进最先进技术和/或可能在非常强大的 AI 系统最终得到使用方面发挥重要作用的 AI 公司。 ^1个

这篇文章可能对在这些公司工作的人或只是好奇的人有用。

一般来说，这些并不是天上掉馅饼的建议——我可以举出^{2 家}以上的 AI 公司，它们至少在我下面讨论的每一件事上都做出了认真的努力 （如果公司中的每个人都专注于盈利，那将超出它的作用）。 ^3个

我将介绍：

• 优先考虑对齐研究、强大的安全性和安全标准（所有这些我之前都写过）。
• 避免炒作和加速，我认为这可能会让我们为关键风险做准备的时间更少。
• 为未来的艰难决策做准备：建立治理、员工期望、投资者期望等，以便公司能够做非利润最大化的事情，以帮助避免未来的灾难。
• 平衡这些警示措施与传统/财务上的成功。
• 我还将列出一些人工智能公司认为重要但我不太感兴趣的事情：人工智能模型的审查、开源人工智能模型、提高政府和公众对人工智能的认识。我不认为所有这些事情都一定是坏事，但我认为有些是坏事，而且我怀疑任何事情对我所关注的风险来说都是至关重要的。

我之前总结了我如何看待高级人工智能的主要风险，以及我认为可以提供帮助的四件关键事情（对齐研究； 安全性强；标准和监控；成功、谨慎的 AI 项目）。我现在不会重复该摘要，但如果您不太记得本系列的其余部分，它可能有助于您定位；单击此处阅读。

一些基础知识：对齐研究、强大的安全性、安全标准

首先，人工智能公司可以为我上面列出的“有用的东西”做出贡献：

• 他们可以优先考虑对齐研究 （以及其他技术研究，例如威胁评估研究和滥用研究）。
  • 例如，他们可以优先招聘安全团队、授权这些团队、鼓励他们最灵活的研究人员从事安全工作、致力于针对关键挑战的高质量研究等。
  • 对于人工智能公司来说，寻找与外部安全研究人员合作的方法，而不是仅仅依靠自己的团队也很重要。 如前所述，这可能具有挑战性。但我普遍认为，非常关心安全研究合作伙伴关系的人工智能公司会找到让它们发挥作用的方法。
• 他们可以帮助制定标准和监控 政权。例如，他们可以通过自己的工作来制定标准，例如“如果我们观察到人工智能系统能够___，那么它就是危险的，如果我们观察到这一点，我们将采取诸如 ____ 之类的安全措施。”他们还可以咨询其他人制定安全标准，自愿进行超出法律要求的自我监管等。
• 他们可以优先考虑强大的安全性，这超出了正常的商业激励措施所要求的范围。
  • 为非常高风险的 AI 构建足够安全的系统、流程和技术可能很容易需要数年时间。
  • 重要的是，不仅要雇用人员来处理日常安全需求，还要雇用人员来试验以后可能需要的更奇特的设置，因为窃取 AI 的动机越来越强烈。

（点击展开）保护危险人工智能的挑战

在《雷区竞速》中，我描述了谨慎的参与者（认真对待错位风险的人）和粗心的参与者（专注于为自己的利益部署 AI，而没有过多考虑对全世界）。理想情况下，谨慎的参与者共同拥有比粗心的参与者更强大的 AI 系统，这样他们就可以花时间做对齐研究和其他事情，试图让每个人的情况都更安全。

但是，如果粗心的行为者可以从谨慎的行为者那里窃取 AI 并冲上前去部署它以谋取私利，那么情况看起来要糟糕得多。不幸的是，可能很难避免这种结果。

通常很难保护数据和代码免受资源充足的网络战/间谍活动的侵害。 AI 的“权重”（你可以认为这有点像它的源代码，尽管不完全是）本身就具有潜在的危险性，并且很难获得极端的安全性。实现足够的网络安全可能需要采取措施和准备，远远超出商业环境中通常的目标。

（点击展开）标准如何建立并成为国家或国际标准

我之前在这方面提出了一个可能的愿景，我将在此处提供一个稍微修改过的版本：

• 当今领先的人工智能公司可以通过承诺不构建或部署他们无法令人信服地证明安全的系统来进行自我监管（例如，请参阅谷歌2018 年的声明，“我们不会在武器或其他技术中设计或部署人工智能，其主要目的是或实施是造成或直接促进对人的伤害”）。
  • 即使公司中的一些人想要部署不安全的系统，一旦公司承诺不这样做，也很难实现。
  • 即使在证明人工智能系统安全意味着什么方面有很大的判断空间，但事先同意某些证据不够好可能会有很长的路要走。
• 随着越来越多的 AI 公司成立，他们可能会感受到软压力而需要进行类似的自我监管，而拒绝这样做会让潜在的员工、投资者等感到反感。
• 最终，类似的原则可以纳入各种政府法规和可强制执行的条约中。
• 政府可以通过监管甚至海外运营来监控危险项目。例如，今天美国（未经许可）监视其他国家可能正在开发核武器的各种迹象，并可能试图通过制裁威胁、网络战甚至军事攻击等方法阻止此类开发。它可以为任何使用大量计算并且没有自愿提供有关它们是否符合标准的信息的​​人工智能开发项目做类似的事情。

避免炒作和加速

对于人工智能公司来说，避免不必要的炒作和加速人工智能似乎是件好事。

我一直认为我们还没有为变革性人工智能做好准备，而且我通常认为，如果世界花更长的时间来开发变革性人工智能，我们都会过得更好。那是因为：

• 我希望对主要风险的普遍认识和理解会随着时间的推移而提高。
• 许多可以改善情况的关键事情——例如，对齐研究、标准和监控以及强大的安全性 – 现在似乎处于非常早期的阶段。
• 如果太多资金过快地涌入 AI 世界，我担心会有很多不谨慎的公司竞相尽快构建变革性 AI，而很少考虑关键风险。

默认情况下，我通常认为：“实验室发表的华而不实的演示和突破性论文越少越好。”这在实践中可能涉及棘手的权衡（因为人工智能公司通常希望在招聘、筹款等方面取得成功）

一些潜在的反驳和回复：

首先，一些人认为现在要避免炒作和加速发展“为时已晚”，因为目前 AI 的炒作和投资规模越来越大。我不同意。很容易忘记，在媒体周期的中间，一旦炸弹停止投下，人们可以多快忘记事情并转移到下一个故事。还有很多炸弹还没有投下（很多事情 AI 仍然做不到），而且对 AI 的投资水平还有很大的上升空间。

其次，我有时看到有人认为炒作是好的，因为它可以帮助整个社会了解即将发生的事情。但不幸的是，正如我之前所写，我担心炒作会给人们带来歪曲的画面。

• 一些关键风险难以理解和认真对待。
• 容易理解的是“AI 强大而可怕，我应该确保像我这样的人来建造它！”
• 也许最近的事态发展会让人们更好地理解风险？人们可以抱有希望，但我还没有指望这一点——我认为人工智能的不当行为可以得到虚幻的“修复”，而且很可能会。

考虑到一旦我们拥有足够强大的 AI 系统，我预计变化的爆炸性速度，我也普遍怀疑社会是否有很大的希望在风险发生时进行调整。

我在脚注中讨论了关于这一点的更多论点。 ^4个

我不认为炒作和加速是不好的是明确的，但这是我最好的猜测。

为未来的艰难决定做准备

我认为人工智能公司可能需要做一些不符合正常商业激励的“不同寻常”的事情。

今天，人工智能公司可以为将来能够做“不同寻常”的事情打下基础。他们可能如何这样做的几个例子：

公益型治理。我认为典型的治理结构在未来可能会成为一个问题。例如，一家标准公司可能会因未部署具有全球灾难风险的人工智能而被起诉——如果这意味着牺牲其底线的话。

我很高兴人工智能公司正在大力投资建立治理结构——并投资于高管和董事会成员——能够很好地做出艰难的决定。例如：

• 默认情况下，如果一家人工智能公司是一家标准公司，其领导层有法律认可的职责为股东的利益服务——而不是为整个社会服务。但是人工智能公司可以合并为一家公益公司或其他类型的实体（包括非营利组织！），这在这方面提供了更大的灵活性。
• 默认情况下，股东对公司的行为拥有最终决定权。 （股东可以更换董事会成员，而董事会成员又可以更换首席执行官）。但是公司可以采用不同的方式设置（例如，由非营利组织⁵控制的营利组织）。

它可以在很多方面得到回报，以确保公司的最后决定是由专注于为人类取得良好结果的人做出的（并且在法律上可以自由地以这种方式专注）。

游戏未来。我认为人工智能公司现在讨论他们将如何处理各种高风险情况还为时过早。

• 在什么情况下，公司会简单地决定停止训练越来越强大的 AI 模型？
• 如果公司开始相信它正在构建非常强大、危险的模型，它会通知谁并向谁寻求建议？它会在什么时候与政府接触，又会如何接触？
• 在什么时候值得使用极其昂贵的安全措施？
• 如果公司有可用的人工智能系统来完成人类可以做的大部分事情，它会用这些系统做什么？用它们做人工智能安全研究？使用它们来设计更好的算法并继续制造越来越强大的人工智能系统？ （ 这里有更多可能性。）
• 谁应该在这些决定上带头？公司倾向于聘请专家来告知他们的决定；公司会向谁寻求有关此类决策的专业知识？

建立并实践特别艰难的决策流程。公司是否应该公布其最新的研究突破？它是否应该推出可能导致更多炒作和加速的产品？哪些安全研究人员应该可以访问其模型，以及访问多少？

人工智能公司如今经常面临这样的问题，我认为有必要制定流程来考虑对整个世界的影响（而不仅仅是对公司的底线）。这可能包括组建咨询委员会、内部工作组等。

管理员工和投资者的期望。在某个时候，一家人工智能公司可能想要采取“与众不同”的举措，这些举措对世界有利，但对利润不利。例如，选择不部署可能非常危险或非常有利可图的 AI。

我可不想在这种情况下经营一家公司，因为很多愤怒的员工和投资者都在询问他们的股权价值！将员工和/或投资者泄露敏感和潜在危险信息的风险降至最低也很重要。

人工智能公司可以通过以下方式为这种情况做好准备：

• 对他们雇用和接受投资的人有选择性，并专门筛选他们认为可能会参与这些艰难电话的人。
• 教育和沟通——让员工清楚地知道未来可能会出现什么样的危害人类的情况，以及公司可能想要采取什么样的行动（以及为什么）。

内部和外部承诺。人工智能公司可以公开和/或内部声明他们将如何处理各种棘手的情况，例如他们将如何确定何时继续构建更强大的模型太危险了。

我认为这些承诺通常应该是不具约束力的（很难足够详细地预测未来以做出具有约束力的承诺）。但在未来利润最大化与为人类做正确的事发生冲突时，先前做出的承诺可能会使公司更有可能做正确的事。

成功

我已经强调了一个成功的、谨慎的 AI 项目是多么有用 可能。到目前为止，这篇文章主要讨论了事物“谨慎”的一面——如何做“普通”人工智能公司（只关注商业成功）不会做的事情，以降低风险。但在筹款、招聘和总体保持相关性（例如，能够构建尖端人工智能系统）方面取得成功也很重要。

我没有强调或写太多关于它的内容，因为我认为这是人工智能公司可能默认关注的事情，而且因为我对如何作为一家人工智能公司取得成功没有特别的见解。但这很重要，这意味着人工智能公司需要走钢丝——不断在成功与谨慎之间做出权衡。

有些事情我不那么兴奋

我认为还值得列出一些人工智能公司提出的一些重要的社会效益措施，但我更怀疑这些措施对于降低我所关注的风险至关重要。

• 一些 AI 公司限制对其模型的访问，因此人们不会使用 AI 来制作色情内容、误导性图像和文本等。我​​不一定反对并支持它的版本（这取决于细节），但我主要是不要认为这是降低我关注的风险的关键方法。对于这些风险，看到系统功能演示所产生的炒作可能比直接危害更危险。
• 我有时看到有人暗示开源 AI 模型——或者尽可能广泛地使用它们——是一项关键的社会效益措施。虽然在某些情况下可能会有好处，但就我最关心的风险而言，我大多认为这种事情是消极的（或者充其量是中立的）。
  • 我认为它会助长炒作和加速，并可能使执行安全标准变得更加困难。
  • 从长远来看，我担心人工智能系统会变得异常强大（比核武器等），所以我不认为“确保每个人都能尽快访问”是正确的框架。
  • 除了增加来自未对齐 AI 的危险外，该框架还可能增加我之前写过的其他危险。
• 我通常认为人工智能公司不应该试图让政府更加关注人工智能，原因我会在以后的文章中谈到。 （不过，与政策制定者建立关系可能是件好事。）

当一家 AI 公司提出一些造福于人类的决定时，我经常问自己，“仅仅想成功商业化，是否可以证明同样的决定是合理的？”

例如，使 AI 模型在通常按用户预期行为（包括避免有毒语言、混乱行为等）的意义上“安全”对于商业可行性可能很重要，但对于我担心的风险。

评论/讨论

脚注

原文： https://www.cold-takes.com/what-ai-companies-can-do-today-to-help-with-the-most-important-century/