七年前,我在 2015 年有效利他主义会议上发表了题为“为什么全球贫困”的演讲。我的结论是,建立 EA 运动是最高优先级,但我们应该同时做一些直接有价值的事情,全球贫困是那里的最佳选择。
回顾这次谈话,经过七年的事后诸葛亮,我对我对存在风险的处理方式并不满意。这是谈话的那一部分,穿插着一些想法:
有一点连续性。一方面,我们面临着小行星撞击地球的风险。对可能在某个时间撞击地球的小行星和彗星进行编目是人们正在研究的事情,而且实际上已经被很好地理解了。因为我们有很好的理解,而且政府有很多明智的人,所以像这样的风险是有足够资金的。所以这个连续体的结束可能不会产生很大的影响。
与 2015 年相比,我对“政府已经涵盖”的立场持怀疑态度。其中一些是出于理论上的原因(例如:防止灾难使您所在国家以外的人受益),其中一些是来自更多地观察政府(例如: 大流行应对)。
另一方面,我们面临着人工智能的发展等风险,这种人工智能会因冷漠而摧毁我们。很少有人在做这个,资金不足,我们对这个问题了解不多。被忽视是一种强烈的启发式方法,可以帮助您找到可以让您的贡献走得更远的原因,而这似乎相对被忽视了。不过,对我来说,主要问题是你怎么知道你是否取得了进步?
首先,对反馈循环的简短题外话。 […] 回到人工智能风险。
问题是我们真的不知道如何在这里建立良好的反馈循环。我们可以推测,人工智能需要某些属性来杀死我们所有人,并且为了拥有这些属性,证明某些定理并继续研究这些定理是有用的。也许我们在这方面取得了一些成功,数学界对我们的评价很高,而不是对我们的工作不屑一顾。但是,如果我们对什么数学有用的推理是错误的,那么我们就无法找出答案。一切看起来仍然很顺利。
这主要是对MIRI方法的批评,大约在 AI 安全的具体问题问世前一年。那篇论文对该领域产生了巨大的影响,一年后当我采访其中一位合著者时,我真的很喜欢强调经验反馈循环中的基础工作。
对于存在性风险,我们有一个连续统一体,从不需要我们边际贡献的充分理解的风险到我们无法确定我们的贡献是否正在降低风险的知之甚少的风险。也许在两者之间有一个甜蜜点,我们可以在哪里取得进展,而现有的资助机构却对需求视而不见?后代没有投票权,所以如果政府系统地打折他们的利益,我不会感到惊讶。我不知道这里有什么好的候选人,但如果你想在谈话结束后找到我,我很想听听。
我认为这主要是错误的。在演讲中,我将工作分为Owen Cotton-Barratt 所说的“第一阶段”和“第二阶段”。首先,您有间接有价值的工作,例如探索哪些事情可能是有益的、评估特定的选择或建设能力,然后您有更具体地使世界变得更美好的工作,例如分发蚊帐、 检测疫情或防止非法危险 DNA 的合成。
虽然这个第 1/2 阶段的划分仍然很好,而且我继续发现反对过度投资于“第 1 阶段”的论点令人信服,但我并没有很好地应用它。我错过的是,解决我们对存在风险中投资不足领域缺乏了解的问题本身就是“第一阶段”工作的有力候选者。通过这项工作,我们可能能够确定比我们在全球贫困中的最佳选择更重要、更容易处理和被忽视的“第二阶段”选择。
幸运的是,其他人确实在这里投资提高了我们的知识,到 2022 年,我们对直接有助于降低生存风险的工作有了更好的理解。有关几个示例,请参见具体的生物安全项目(其中一些可能很大) ,这只是一个领域。
那么这是否意味着我认为人们应该在边际上从资助全球贫困范围内的“第二阶段”工作转向存在性风险范围内的工作?奇怪,不是真的!据我所知,随着资金情况的变化,稳固的“第二阶段”长期项目不受可用资金的限制,而是受人员和他们扩展的速度的限制。如何在这个资金更加充裕的环境中捐款,对于另一个帖子来说是一个复杂的问题。但我确实认为这意味着,如果你希望从赚钱转向直接有价值的东西,那么根据个人的适合度,对存在风险的工作可能比对全球贫困的影响更大。
评论来自: 脸书