随着 AI 的最新进展，我们中的许多人想知道是否可以创建安全（即不会毁灭人类）的超级智能。如果可能的话，任何给定的人安全的可能性有多大？如果这是不可能的，那么技术社会是否会不可避免地做出坏事？
这是一个前所未有的问题，似乎我们只有思想实验来指导我们。
然而，关于这个存在的重要问题可能有真正的经验证据，尽管我必须警告你，它有点不在那里。然而，风险如此之高，而且关于这个话题的现有证据是不存在的，所以我们必须尽我们所能。
我建议，尽管证据不足，但确实存在一些证据——以美国海军 UFO 报告的形式存在。是的，这很奇怪，但这就是为什么你至少应该暂时和我一起去疯狂的小镇：
- 许多聪明人对 AI 进行了长期而艰苦的思考，因此大部分唾手可得的果实都已被采摘。如果你想要一些真正新颖的水果，你可能需要参观每个人都避开的果园，因为那里是疯子出没的地方。
- 即使你认为 UFO 报告不应该被认真对待，OpenAI 的首席执行官 Sam Altman 也可以说是人工智能开发领域最重要的人物，他说有一些有趣的教训需要学习。因此，无论您如何看待证据，如果您认为 Sam Altman 认为的内容本身很重要，那么报告就很重要。
问题应该是“技术？”不是“外星人”？
不明飞行物是否是外星人是关于它们是否是技术的未决辩论的下游，而不是恶作剧、心理操作、自然现象等。这个问题的技术意义是如此巨大，以至于给他们指定像外星人这样的特定演员是一个过早分心。
如果 UFO 是技术，那么它们代表的技术远远超过我们目前在 1) 推进、2) 发电、3) 材料和 4) 控制系统方面拥有的任何技术。然而，这其中，我们目前最接近的是控制技术，利用机器学习来实现飞船的着陆。
我们在智能轨道上走得最远：我们认为我们可以通过继续扩展 LLM（预测市场在 10 年内说）来制造 AGI，而我们甚至不知道其他技术是否在物理上可行，更不用说如何实现了我们会完成它们。
这意味着 2 种可能性：
- 不明飞行物是由超级智能制造或与超级智能一起制造的。
- 不明飞行物是由一个社会制造的，该社会有能力制造一个但没有。
从某种意义上说，一个拥有如此高技术水平的实体可以定义为超智能，但至少我们可以得出结论，UFO构成了超智能社会的证据，因此达到该技术水平确实是可以生存的.我会继续谈论超级智能，但如果你认为它实际上是选项 #2，那么只需替换它，因为数学是相同的。
一次观察得出的结论
我们可以将超级智能视为安全与不安全，一种具有某种二项分布的二进制值。也就是说，0到1之间有一定比例的超级智能是安全的。
如果我们保守地将所有不明飞行物报告视为一个整体，那么我们就有一个单一的观察结果。
二项式分布的置信区间可以用不同的方式计算，但对于这种情况， Jeffreys 区间给出了 95% 的置信区间，不安全的超级智能的比例下限约为 15%，
（最保守的Clopper–Pearson 区间给出的值为 2.5%；您可以在此处自行计算这些数字。）
USS Nimitz：我们拥有的最佳证据
大多数关于不明飞行物的证据都很差，我鼓励驳回所有证据，除了我之前讨论过的一个明显的例外：
纽约时报描述的 2004 年尼米兹号航空母舰事件似乎违背了正常的解释。它被一架海军飞机和一艘舰船分别用雷达探测到，用一架战斗机的红外线拍摄下来，并由 4 名飞行员目击。
您可能不会觉得这有说服力，但我鼓励您至少阅读海军内部报告。即使您不为所动，要解释这些专业且单独证实的说法仍然具有挑战性。一种更流行的解释是，它是一架秘密的美国/中国/俄罗斯无人机，但这仍然意味着技术先进程度比我们想象的要高出几代人。如果 2004 年存在秘密的无反应、无排气的超级飞船，那么 2023 年肯定会存在秘密的大型 LLM，并且我们已经与 AGI 共存。
如果存在善良的外星人，他们就会阻止大屠杀
如果善良的外星人已经在这里，他们就会阻止大屠杀。这是反对上帝存在的有效论据。这也是反对好外星人存在的有效论据。不友好的外星人会吃掉这个星球。
这种推理有几个问题：
- 如果他们确实阻止了大屠杀，你怎么知道？根据他们行为的可见程度，本可以避免许多大屠杀，但我们不知道要计算其中任何一个，因为它们没有发生。因此，对外星人的要求实际上要高得多“如果外星人是真的，他们就会阻止每一次大屠杀”。然而，即使他们确实阻止了每一次大屠杀，我们也可以移动球门柱并说“如果外星人是真实的，他们会无限地阻止[坏事的下一级]”，直到我们说“我踩到我的脚趾证明外星人不是真的。
- 也许他们确实阻止了一些大屠杀，早在 60 年代就有报道称不明飞行物干扰了核武器。
- 我们有证据表明，有时当“开明”社会发现一个技术相对原始的社会时，它只会让他们独自一人，大屠杀等等。各种低接触社会都犯下了大规模谋杀（例如 Waorani，其中42% 的死亡率来自群体内杀人），现代文明认为，总而言之，最好的办法就是让他们独自一人。
尽管这听起来很古怪，但我希望的是从解雇到分析的转变，即使是批评。这确实非常重要，并且请记住，之前已经打破了对地外起源的偏见——科学家们只是在 1803 年才普遍相信陨石存在。