人工智能时代政策制定的几个问题

在围绕 AGI 的强度及其对我们未来的预示的多次讨论中，大部分对话都围绕技术本身，以及我们应该对存在风险产生的担忧展开。

即使在那些担心的人中，尽管有大量的宣传，但就我们应该做的事情提出更好的想法的尝试并没有超出明显荒谬的范围，比如建立一个严厉的世界政府来监控芯片使用和轰炸 GPU 集群。就我们应该做什么的可行建议而言，实际上很少有可行的建议。我们最近最好的例子是一封暂停 6 个月的半心半意的信，这是一个基于谁签署的负面信号，不可能强制执行，即使你这样做也毫无意义。

对于背景，我赞成*不*担心我们会因为超级智能出错而灭绝。我绝对认为我们可能会在未来十年内创造出令人难以置信的机器，这些机器将在多个领域赶上或超过人类。现在，我们能做些什么呢！

所有这些提案中都存在大量一厢情愿的想法。所以我认为这对水平集有帮助。

Robin Hanson 最近谈到了责任法的必要性，以此来确保以安全的方式开发这项技术。假设是 AI 开发造成的任何危害都将由 OpenAI 等开发人员承担。

泰勒·考恩 (Tyler Cowen) 最近还谈到了将 AI 的任何有害后果直接归因于他们的困难。这也很公平，因为如果我通过 LLM 赚了 10 亿美元，我并不打算将其中的一部分捐给 OpenAI。如果技术提供商无法控制技术的使用方式（在大多数情况下他们不能），那么一般责任就很难由他们承担。

书籍和地图为许多罪犯和恐怖分子提供了危险的信息。但这类犯罪的责任通常不在出版商身上。要求所有发布的信息都是真实和无害的正确组合是不切实际的。 LLM 的输出是什么，而不是一本新的、更强大的书或地图？ （或者一个更恶作剧的问题怎么样：如果 LLM 查询要求以书的形式打印答案怎么办？）

泰勒从“容易避免的伤害减少”的角度来看这个问题，如果他们可以很容易地阻止该工具被用于邪恶，那么他们最终要承担责任。

但所有这些感觉就像是关于政策应该如何运作的实际对话的开始。如果我们要设计我们对世界的反应，那么从世界的样子开始是有帮助的。

一、竞争环境

1 基础模型

OpenAI 可以说通过使用谷歌发表的论文和顶尖研究人员创造了启动这一切的重大突破，从而在这场竞赛中处于领先地位。目前能够投资和花费数十亿美元的参与者寥寥无几，而且大多与大型科技公司合作。

除非发生重大变化，否则我们可以想象还有更多的数十亿美元来自于此，特别是考虑到主要参与者都对生产这项技术产生了巨大的内部和外部兴趣。

2 开源

特别是考虑到将美洲驼放归野外、其余的骆驼科动物、Lora 方法的兴起、稳定 LM、红色睡衣作为一种方法等等，更不用说 Eleuther AI 等人之前的巨头了，闸门很好真正开放。当我今天可以在我的手机上运行一个小模型时，我们就不再处于可以简单地“关闭它”的领域。

3 创业公司

考虑到基础模型方面正在发生的事情的规模，只有成百上千的人对构建下一代软件感到兴奋才有意义。

这就是为什么我们将 AutoGPT 和 BabyAGI 之类的东西视为代理，以及成千上万的项目来完成从制作食谱到完成故事再到更好地自动完成代码的所有工作！

4 硬件

无论谁获胜，Nvidia 都是有争议的冠军，因为他们率先进入游戏世界，之前是加密浪潮，现在是 AI 浪潮，其中 GPU 一直是需求的东西。但其他主要科技巨头也进入了这一领域，无论是拥有定制芯片的苹果公司，还是试图确保其 TPU 不会落后太多的谷歌。

二。影响

考虑到现状，我们可能很快就会掌握一个非常强大的工具。它可能像软件、云或核武库，周围有很多类比。我们不太清楚可能会发生什么。

我们所知道的是，世界上很大一部分智力工作，或者至少是不可避免地伴随智力工作的智力苦差事，现在已经自动化了。或者至少明显减少。

因此，让我们假设这种情况继续下去，我们将开发 AGI，或类似的东西，在这种情况下，这意味着一个非常强大的软件，可以将我们的愿望转化为现实世界中的行动，具有人类文明、技术的通常限制债务和物理摆在我们面前。

然而，关于谁将创建第一个主要 AGI 系统，存在并将继续存在实际的竞争紧张局势。不管事实如何，如果一个公司或组织首先创建它，他们的领导可能是什么，这都是正确的？是几周、几个月还是几年？

在公司层面或国家层面，已经在努力制定特定的基础模型。这是否会产生超越通用开源模型微调版本的实质性影响尚不确定。

一旦世界上存在足够强大的 AGI 系统，它们将影响我们在生活中做出的最大决定——医疗决定、财务决定、教育、爱情！

这是一个故事。如果（何时？）人工智能真的接管了生产资料，使多项工作过时并大大提高资本回报率，这可能会影响劳资关系。它可能会导致 UBI，或更好的社会安全网，或更大的阿拉斯加式公民“股权份额”。

由于使用人工智能确实会导致重大问题，我们必须考虑对它们进行监管。我们首先会积极使用对抗性 LLM （或它们的继任者）来互相监督，也许将它们放在围墙花园内。

如果 AGI 足够强大并且人们为它创建代理，它甚至可能需要一个身份。一旦它可以代表自己或自愿行事，从法律上讲，社会结构就会发生变化，我们现在拥有多个阶级的公民，即使一个阶级在技术上不是公民。

但这是可行的方式，摆在我们面前的实际问题数量众多。

三、问题

所有这一切都基于这样一种观点，即智力或认知会变得民主化。

这意味着如果你真的拥有足够强大的技术，那么我们应该考虑什么？假设我们将构建功能强大到令人难以置信的计算机系统，并且就其对世界的影响而言，它们需要被视为既强大又危险。

因此，与其担心世界崩溃的可能性百分比，这里有一些我认为非常重要的问题，我希望得到一些答案。

一、经济和法律问题

A. 税收和责任

1. AGI 产生的收入应如何征税？它应该重新分配给那些为培训做出贡献的人，比如 Stability，还是在所有人之间共享，比如 AGI UBI？

2. 谁应对 AGI 的行为和决定负责？这是最后一英里的问题，用户应该受到责备，还是第一英里的问题，制造商，或中间的某个地方取决于任务（法庭判决与自动驾驶）？

B. 版权和知识产权

1. AGI 创作将如何受到现行版权法的保护？ AGI有人格吗？ LLM 可以创建新产品并拥有版权吗？ AGI 可以被视为合法作者或发明家吗？

2. 当我们可以编写一次软件并丢弃时，知识产权的生命周期将如何改变？我们是否需要激励人类代码编写者或艺术家，以便我们在未来获得足够的训练数据？

C. 市场

1. 如何在 AGI 驱动的经济中解决垄断行为？它是基于谁首先制造 AGI 的赢家通吃吗？这对我来说似乎难以置信，因为推理比训练便宜得多，但令我震惊的是，可能会有多个赢家，有大量的开源来填补空白。

2. 应该采取什么措施来保证公平竞争？这需要政府干预吗？

二。社会考虑

A. 隐私和数据安全

1. 如何设计 AGI 以尊重个人隐私权？这甚至可能吗，即使是可取的？

2. 应该采取哪些安全措施来保护敏感数据？如果您知道“相关”数据，您可以从插值中收集到多少敏感数据？敏感数据的熵是多少？

B. 教育和劳动力

1. 教育系统如何适应 AGI 驱动的社会？每个人都应该有私人导师，这是否会扩大课堂学习的基尼系数？会有教室吗？

2. 可以实施哪些策略来解决潜在的劳动力流失问题？这是“卡车司机学习编码”的时刻，还是“程序员学习驾驶卡车”的时刻？

三、国际关系

A. 外交政策和军事事务

1. AGI 将如何影响国家间的力量平衡？除了较贫穷的国家在能力方面更加落后之外，情况还会一样吗？或者就像手机和互联网的情况一样，差距会不可避免地被跨越吗？

2. AGI 将在情报收集和军事行动中扮演什么角色？无论是对行为的监视还是预测，还是自主代理执行操作，编排策略是什么？

B. 国际条约和贸易

1. 国际协议应如何解决与 AGI 相关的问题？尤其是经济方面，还有使用 AGI 谈判贸易条约（或英国脱欧）方面？如果双方都有 AGI，是否可以使英国退欧谈判更容易，或者至少更快？

四、政治

1. AGI 将如何影响政党纲领和战略？随着更多事实被证明是真实的，因为“计算机这么说”，它会导致派对平台的“扁平化”吗？我们不再争论最优税收政策，而是争论社会政策，因为这是哲学上的差异？

2. AGI 将在联合政府谈判和决策中扮演什么角色？一旦你拥有一台能够处理数字并找出解决困难经济问题的最佳答案的机器（例如，伦敦市中心的最佳土地价值税率应该是多少），有多少决定是可以委托的？

四、政策

有很多比喻可以谈论当前的事情。当我们在争论这个问题时，我们陷入了一个不断流式预测我们几乎不了解的未来的循环。

如果情报“随时可用”，是否应该在制定与其使用相关的政策时使用它，而不是咨询它？如果不是，您希望看到什么来回答是或否？很容易说出像“可解释性”这样宽泛的东西，但当你把它分解时，它很快就会变得模糊。我们对它的解释的信念告诉我们关于我们的事情和它关于它的事情一样多。

摆在我们面前的问题是考虑到这种不确定性该怎么办。这一波或下一波浪潮很可能最终会帮助创建一波工具，使智能变得像我们进行计算一样便宜。

当这种情况发生时，我们将不得不面对这样一个事实，即当今社会将以多种方式被颠覆，有些是我们可以预见的，有些是我们不能预见的。对于那些我们期望发生变化的领域，今天开始考虑这些领域是有意义的。

我们有先例。考虑到个人电脑成为主流，然后互联网变得无处不在，可以说改变了我们的工作和交流方式，它以一些直接和更多间接的方式影响了我们的生活。

• 我们制定了在线安全法案或数字竞争法等立法，两者都试图将先前存在的法律重新整合到在线领域

• 同样，我们有网络中立性问题、访问行为、网络安全法，所有这些都旨在将以前重要的言论自由、访问公平和安全考虑问题带到 21 世纪

• 我们有 GDPR，它主要试图让个人数据与您的个人物品一样发挥作用，但取得了不同程度的成功

• 我们有第 230 条及其类似条款，它试图区分为用户生成的内容提供场所而不对用户生成的内容承担责任，但要证明“最低成本”使用或应用科斯是不可能的

• 美国的 FISMA 或澳大利亚的 DTA 等指南探索如何最好地利用这些工具更好地提供公共服务

考虑到这些在过去半个世纪中改变了我们社会的面貌，值得注意的是这些变化是渐进的，主要是将现有的信仰和哲学重新组合成现代的对应物，而不是其他方式。

同样值得思考的是，是否有过早制定的法规或政策对行业产生积极主动的影响。最接近的可能是我们对克隆人或 GDPR 的立场，后者以让所有企业的数据处理和管理变得繁琐为代价赋予个人更多权利。

最大的变化是社交方面的。我们的互动已经转移到网上。我们不再手写备忘录或在秘书库中打印出来。我们经常在我们的手持设备上执行比尼尔·阿姆斯特朗登上月球更强大的计算。我们进一步专注于我们的工作，并拥有极其复杂的全球互连来维持我们的经济——既有物质方面的商品，也有智力方面的劳动力，以及科学研究和出版方面的知识。

然而，在社会上，我们看到了新巨头的出现，例如印度的外包、新的人才集群，从尼日利亚到新加坡，以及新的工业巨头，它们是世界上最大的企业巨型动物。这些都不是很容易预见的或在我们的预见范围内，而是融入了我们的总体世界观。

AGI 也会如此。思考这项技术的意义就是思考我们社会的结构，以及我们通过决定以这种方式生活而共同拥护的哲学。与个人电脑或互联网时代相比，这更有可能从根本上改变社会。这既是希望，也是机遇。

原文： https://www.strangeloopcanon.com/p/a-few-questions-for-policymaking