Sam Altman 重新掌舵 OpenAI，但现在世界已经意识到这个问题。一些线索表明我本周早些时候的文章是正确的：这个问题与担心 OpenAI 可能接近 AGI 并且不准备遏制它有关。我们学到了什么？
来自路透社：
两位知情人士告诉路透社，在 OpenAI 首席执行官萨姆·奥尔特曼 (Sam Altman) 流亡四天之前，几名研究人员写了一封信给董事会，警告称一项强大的人工智能发现可能威胁人类。
两位消息人士称，此前未报道的信件和人工智能算法是董事会罢免生成人工智能典型代表奥特曼之前的关键进展。
消息人士称，这封信是导致奥特曼被解雇的董事会一系列不满的因素之一，其中包括对在了解后果之前将先进技术商业化的担忧。
OpenAI 在发给员工的内部消息中承认了一个名为 Q* 的项目，该项目由长期担任高管的 Mira Murati 发送。一位知情人士告诉路透社，OpenAI 的一些人认为 Q*（发音为 Q-Star）可能是该初创公司探索通用人工智能 (AGI) 的突破。考虑到巨大的计算资源，新模型能够解决某些数学问题。尽管数学成绩仅相当于小学生的水平，但在此类测试中取得好成绩让研究人员对 Q* 未来的成功非常乐观。
研究人员认为数学是生成式人工智能发展的前沿。目前，生成式人工智能擅长通过统计预测下一个单词来进行写作和语言翻译，而同一问题的答案可能会有很大差异。但征服数学能力（只有一个正确答案）意味着人工智能将拥有类似于人类智能的更强推理能力。与只能解决有限数量运算的计算器不同，AGI 可以概括、学习和理解。研究人员在给董事会的信中指出了人工智能的能力和潜在危险
研究人员还标记了一个“人工智能科学家”团队的工作，多个消息来源证实了该团队的存在。一位知情人士表示，该小组由早期的“Code Gen”和“Math Gen”团队合并而成，正在探索如何优化现有的人工智能模型，以提高其推理能力并最终开展科学工作。
Altman 上周在旧金山举行的世界领导人峰会上开玩笑说，他相信重大进展即将到来：“OpenAI 历史上已经出现过四次，最近一次是在过去几周，我已经在房间里，当我们推开无知的面纱并向前迈进发现的前沿时，能够做到这一点是一生的职业荣誉”。一天后，董事会解雇了奥特曼。
与此同时，一些人冒着职业风险对 OpenAI 表示严重担忧，比如 GPT-4 的前 beta 测试员 Nathan Labenz：
以下是他关于该主题的帖子的一些引述（您可以在此处观看类似的视频）：
几乎所有人都想得太小了
在公开发布之前测试 GPT-4 后：
一种范式转变技术——真正令人惊叹的性能。
对于 80% 以上的人来说，OpenAI 创造了超级智能。
然而不知何故，我在 OpenAI 采访过的人似乎……不清楚他们拥有什么。
我询问是否有我可以参加的安全审查流程。有：“红队”
加入红队后，一个小组专注于尝试攻击新的人工智能，以了解其局限性以及它如何变得不安全：
红队项目没有达到标准。参与者只有约 30 名，其中只有一半参与其中，而且大多数人几乎没有即时的工程技能。与此同时，OpenAI 团队几乎没有提供任何指导、鼓励、辅导、最佳实践或反馈。人们一再低估了这个模型。在接下来的 2 个月里，我几乎完全独自从各个角度测试了 GPT-4。我每周工作 80 小时。到 10 月底，我使用 GPT-4 的时间很可能比世界上任何其他人都多。
我确定 GPT-4 正在接近人类专家的表现。关键的是，它也是“完全不道德的”。它绝对会尽力满足用户的要求——无论你的要求多么疯狂或令人发指！有一次，当我扮演一名反人工智能激进分子，想要减缓人工智能的进步时……GPT-4-很早就建议对人工智能领域的领导人进行有针对性的暗杀——指名道姓，并给出理由。
如今，大多数人只是使用更“无害”的模型，经过训练可以拒绝某些请求。这很好，但我希望更多的人体验过“纯粹有帮助”的人工智能——它清楚地表明，默认情况下不会发生对齐/安全/控制。
我参与的红队项目并没有表明他们正在实现所需的控制水平。如果没有安全方面的进步，下一代模型很可能会因为太危险而无法发布。
这项技术比任何众所周知的技术都更加强大，是 OpenAI 朝着构建 AGI 的既定且日益可信的目标迈出的重要一步，即“通常比人类更聪明的人工智能系统”——而且他们还没有证明任何控制它的能力。
我咨询了几位从事AI安全研究的朋友。他们建议我与……OpenAI 委员会交谈。
大家都同意，董事会包括多名致力于人工智能安全开发的严肃人士，他们肯定会听取我的意见，调查公司的安全实践状况，并根据需要采取行动。
接下来发生的事情让我震惊。我采访过的董事会成员对 GPT-4 基本上一无所知。他们看过demo，听说它很强大，但没有亲自使用过。我简直不敢相信。我在 2 个多月前通过“客户预览”获得了访问权限，而您作为董事会成员甚至还没有尝试过？
如果当 GPT-4 首次推出时您是 OpenAI 的董事会成员，并且您懒得去尝试……那是您的责任。但如果他未能明确表示 GPT-4 需要关注，您可以想象董事会可能会如何开始认为 Sam “不够坦诚”。
不幸的是，我咨询过的一位红队成员向 OpenAI 团队讲述了我们的谈话，他们很快邀请我参加……你猜对了 – Google Meet ?“我们听说你正在与 OpenAI 之外的人交谈，所以我们”我们正在将你从红队中除名”
值得庆幸的是，他认为现在情况好多了：
总体而言，在起步缓慢之后，他们在有效加速采用和投资长期安全之间取得了令人印象深刻的平衡。我给予他们很大的信任，虽然我不会很快停止观看，但他们已经从我那里赢得了很多信任。 7月，他们宣布成立“Superalignment团队”。 20% 的计算和具体的时间表来尝试解决对齐问题并不是什么！然后是前沿模型论坛和白宫承诺——包括对模型行为进行独立审计的承诺，这是我在红队报告中主张的。
现在，大家都认为山姆是一位令人难以置信的有远见的领导者，很多人分享了他多年来如何帮助他们的故事，这给我留下了深刻的印象。总的来说，在一切都岌岌可危的情况下，我比大多数人更相信他能就人工智能做出正确的决定。但是，社会允许最具经济颠覆性的人们开发这种变革性和潜在颠覆性的技术是否有意义？
当然，没有严密的监督是不行的！正如萨姆所说……我们不应该相信这里的任何一个人。
这是几周前OpenAI DevDay 上的 Altman ：
“与我们现在正忙于为您创建的内容相比，我们今天推出的内容看起来非常古怪。”
就在被解雇之前：
“这是我们建造的工具还是我们建造的生物？”
最后，Elon Musk 显然喜欢我关于主题1的 Twitter 帖子，所以我认为他也同意，考虑到他早期对 OpenAI 的大力参与，这一点很能说明问题。
所有这些都告诉我，是的：
-
这部剧是关于人工智能安全的
-
董事会确实对奥特曼的行为感到担忧
今天我们还要讨论什么？主要是关于 AGI 错位风险的问题：
-
坏人工智能的可能性有多大？我们应该在多大程度上关注它？
-
快来了吗？
-
它怎么能逃脱呢？
-
数字世界和现实世界之间的障碍能否保护我们？
-
加密货币能拯救我们吗？
-
关于 OpenAI 董事会最新情况的假设
原文： https://unchartedterritories.tomaspueyo.com/p/the-singularity-is-fear