试图优化道德的危险

这个故事最初发表在 Vox 的会员专刊杂志《Thehighlight》上。要每月尽早访问会员独家故事， 请立即加入 Vox 会员计划。

我是一个正在恢复的优化器。

在过去的几年里，我花了很长时间为自己所做的每一个决定而痛苦，因为我觉得我必须做最好的事情。这不是一件好的事情，也不是一件好事——道德上最好的事情。

我停止创作儿童小说，因为我开始怀疑它对任何人都没有用。我责备自己没有每天冥想，尽管我知道这会让我成为一个更友善的人。我花了一年的时间为分手而哭泣，因为我担心我刚刚失去了我最好的灵魂伴侣，现在注定要过一种次优的生活，一种没有意义的生活，一种没有发挥其潜力的生活。

我想也许只有我是这样的，一个焦虑的千禧一代，有着完美主义倾向。但后来我注意到其他人也有同样的思维方式。

有一位朋友在晚餐时总是担心她能否通过她所选择的职业对世界产生足够大的积极影响。另一位朋友会将他的一天分为 15 分钟，并写下他在每一分钟内所做的事情，这样他就不会浪费任何时间。第三个朋友——我最好的朋友——哭着给我打电话，因为尽管她花了几个月的时间辛勤地照顾她伴侣垂死的母亲，但她担心自己没有让她最后的日子尽可能快乐。

“我的情绪妨碍了我，”她自责道。 “我希望我能成为一个机器人。”

我特别注意到认同有效利他主义（EA）的同龄人的这种思维方式，这种社会运动就是利用数据和理性来找出如何“做得更好”或“你能做的最好的事”，引用 EA 两位领先思想家的书名。该运动敦促人们向慈善机构捐款，以挽救每一美元最多的生命。我听到它的追随者感叹，当他们走过无家可归的人时， 他们感到多么可怕，感到有一种想要提供帮助的冲动，但强迫自己不这样做，因为他们的美元可以为低收入国家的贫困人口带来更多好处。

所有这些感觉不仅仅是我们很多人以前听说过的“ 优化文化”。它不是那种努力让身体变得完美、迫使你接受 Soylent 和补充剂、间歇性禁食和冰浴、Fitbits、Apple Watch 和 Oura Rings 的人。而且它不是那种专注于微调思想、促使你尝试聪明药物、 多巴胺禁食和幸福追踪的类型。

这是另一种优化文化，一种分析较少但更加雄心勃勃的文化，因为它不仅仅是针对身体或思想，而是为了圣杯：你的灵魂。这是关于道德优化。

这种心态在象牙塔里和在街上一样普遍。具有功利主义倾向的哲学家告诉我们，仅仅做好事是不够的——我们必须尽可能做好事。我们必须从数学上量化道德善良，以便我们能够最大化它。如今，这样做的动力正在越来越多的圈子中出现，从使用技术“优化”他们希望使自己成为更好的人的冥想的精神追求者，到试图将道德编程到机器中的人工智能研究人员。

我想了解这个想法的来源，这样我就可以弄清楚为什么我们中的许多人似乎越来越关注它，这样我就可以诚实地评估它的优点。我们的道德生活能否优化？如果可以的话，他们应该这样做吗？或者我们是否将优化延伸到了其最佳极限之外？

我们如何开始相信道德优化

“我们正处于一条持续了 400 年的长趋势线的顶部，”犹他大学哲学家C. Thi Nguyen告诉我。他解释说，优化的故事实际上就是数据的故事：它是如何发明的，以及它在过去几个世纪中是如何发展的。

正如历史学家玛丽·普维（Mary Poovey）在她的《现代事实史》一书中所说，这个故事可以追溯到 16 世纪，当时欧洲人提出了超级性感且革命性的智力项目——复式记账法。这个新的会计系统强调以精确、客观、可量化的方式记录每个商家的活动，任何人、任何地方都可以验证。换句话说，它发明了数据的概念。

从一开始，人们就将优化视为一种神圣的力量。

这为 1600 年代和 1700 年代智力的巨大发展铺平了道路——对于聪明的欧洲人来说，这是一个非常激动人心的时代。这是理性的时代！启蒙时代！弗朗西斯·培根（Francis Bacon）和约翰内斯·开普勒（Johannes Kepler）等人研究了簿记方面的创新并思考：这种将世界分割成可量化和可验证的数据块的方式非常棒。我们应该在我们正在构建的称为科学方法的新事物中模仿它。

与此同时，17 世纪哲学家布莱斯·帕斯卡 (Blaise Pascal) 提出了一种处理数据的概率方法，这在现在著名的帕斯卡赌注中得到了体现：如果你不服从上帝，后来发现上帝不存在，这没什么大不了的，但如果上帝有可能确实存在，你的信仰可能会决定天堂或地狱的永恒——所以值得你花时间去相信！ （科学哲学家伊恩·哈金称帕斯卡为世界上第一位统计学家，他的赌注是“对决策理论的第一个广为人知的贡献。”）

同样重要的是，艾萨克·牛顿和戈特弗里德·威廉·莱布尼茨创造了微积分，它为人类提供了一种新的能力，可以计算出在给定约束下可以实现的最大价值，换句话说，就是优化。

从一开始，人们就将优化视为一种神圣的力量。

1712 年，数学家 Samuel König 研究了蜂箱的复杂蜂窝结构。他想知道：蜜蜂是否已经弄清楚如何用最少量的蜡创造出最大数量的细胞？他算了一下，确实如此。那些模糊的、热闹的优化器！法国科学院对这种最佳架构印象深刻，宣布它是神圣指导或智能设计的证明。

很快，人们试图将几乎所有事物数学化，从医学到神学再到道德哲学。这是一种让你的主张具有客观真理光泽的方式。

以爱尔兰哲学家弗朗西斯·哈奇森（Francis Hutcheson）为例，他首先创造了功利主义的经典口号——行动应该促进“最大多数人的最大幸福”。 1725 年，他写了一本书，试图将道德简化为数学公式，例如：

任何代理人的道德重要性，或者他所创造的公共善的数量，是由他的仁慈和能力的复合比率决定的：或者（通过用字母代替单词，M = 善的时刻，μ = 善的时刻）邪恶）M = B × A。

功利主义哲学家杰里米·边沁追随哈奇森的脚步，也试图创造一种“幸福演算”：一种利用数学确定行为道德地位的方法。他认为，行为是道德的，只要它们能最大限度地提高幸福或快乐；事实上，正是边沁发明了“最大化”这个词。他认为，伦理学和经济学都应该关注效用最大化（即幸福或满足）：只需计算每项政策或行动会产生多少效用，然后选择产生最多效用的一项。这一论点至今对道德哲学和经济学产生了持久的影响。

与此同时，工业革命正在兴起。像亚当·斯密这样的经济学家主张提高效率和最大化利润的方法。随着消费资本主义的蓬勃发展，经济增长迅猛。在工业革命后的两个世纪里，生活水平得到提高， 极端贫困大幅减少。对于欧洲工业化国家来说，经济领域的优化似乎取得了巨大的成功。美国进口了它并采用了工厂装配线，为我们带来了像亨利·福特的 T 型汽车一样的进步。

然后，在 1900 年代，数据故事出现了一个新的转折点：计算机技术的重大进步。不断增长的计算能力使得分析大量数据和更精确地模拟世界成为可能——比如破译二战期间的纳粹密码，或者处理美国人口普查。到了 20 世纪末，计算机从政府拥有的、房间大小的庞然大物变成了适合普通家庭的经济实惠的小玩意。

随着互联网的发明，所有这些普通人开始生成大量数据。每一次网络搜索、每一次聊天、每一次在线购买都成为一个数据点，因此到了 20 世纪 90 年代，谈论“大数据”成为可能。这使得优化的梦想变得更加复杂。硅谷开始敦促你量化你身体和思想的各个方面，因为你拥有的机械功能数据越多，你就越能优化你的机器。

但对于数据爱好者和潜在的优化者来说，最大的“收获”始终是灵魂。随着计算技术的进步，实现最佳道德的古老梦想颤抖着苏醒了。

现在，数据故事的最新篇章——人工智能——正在推动这个梦想。人类第一次不仅可以幻想以更高的精度对世界进行建模，而且可以以完美的精度对其进行建模。这是一个令人兴奋的想法，对于每个因为结果而感到巨大压力的人来说也是一个痛苦的想法。

人们如何使用数据来优化道德生活

如今，很多人似乎认为可以优化道德。

以“精神科技”的创造者和用户为例，这是一个旨在让你更加开明的技术的总称。冥想耳机就是最好的例子。他们使用神经反馈，这是一种训练自己调节脑电波的工具，这样你就可以变得不那么反应性，或者变得更有同情心。一些公司已经以每台几百美元的价格出售这些设备，并倾向于通过优化语言来吸引客户。 Muse表示它将“优化”你的练习。门迪说这会“最大化”你的潜力。 Sens.ai表示它将“释放你最好的自我”。

有效的利他主义者以及邻近的理性主义者认为，如果你在面临不同选择时使用数据和概率思维，你可以做得更好——你可以做得更好。 EA 敦促你思考每种选择可以为世界带来多少好处，并将其乘以该好事发生的概率。这会给出每个选项的“期望值”，而期望值最高的选项就是您应该选择的选项。这很容易导致你采取目的正当手段的方式行事，例如，如果你相信这可能会产生很多钱，然后你可以捐赠给有需要的人，那么就欺骗客户，用一个不那么随机的例子。在萨姆·班克曼-弗里德丑闻之后，EA 煞费苦心地明确表示，人们不应该最大化效用，如果这意味着通过欺骗人们来违反道德规范！

（披露：2022 年 8 月，Bankman-Fried 的慈善家族基金会“Building a Stronger Future”向 Vox 的Future Perfect授予了 2023 年报告项目的赠款。该项目已被取消。）

一些人认为，向 ChatGPT 等人工智能系统寻求道德建议可以帮助我们克服人类偏见，并为我们的道德决策注入更多理性。

当然，还有人工智能，这是当今道德优化挑战最为突出的领域。对于许多人工智能产品，专家认为有必要安装某种道德程序；例如， 如果你正在建造一辆自动驾驶汽车，你必须向它提供如何处理棘手的道德权衡的指示。汽车是否应该转向以避免撞到儿童，即使这意味着撞到老年行人？

一些研究人员甚至比这更雄心勃勃。他们不仅仅是想将道德推理编程到人工智能中，以便它能够近似人类在特定情况下的行为方式；他们实际上认为人工智能可以比人类更好地进行道德推理，并提高我们的道德判断力。一些人认为， 向 ChatGPT 等人工智能系统寻求道德建议可以帮助我们克服人类偏见，并为我们的道德决策注入更多理性。 超人类主义运动主张人类应该利用技术来增强和进化我们的物种，其支持者尤其看好这一想法。像埃里克·迪特里希这样的哲学家甚至认为，我们应该建造“我们本性中更好的机器人”——在道德上超越我们的机器——然后将世界交给他所谓的“智人 2.0”。

然而，如果我们想利用人工智能让我们变得更加道德，我们首先必须弄清楚如何让人工智能变得道德。目前还不清楚我们能否做到这一点。

2021年，艾伦人工智能研究所的研究人员发布了一个AI模型Delphi ，以古希腊宗教神谕命名。他们通过抓取人们在Reddit 的“我是混蛋吗？”等网站上写下的数以百万计的个人困境，教会它做出道德判断。 ，让其他人判断给定的行为是对是错，然后将所有数据放入模型中。

通常，德尔福的回应正如你所期望的普通美国人那样：例如，它说欺骗你的妻子“是错误的”。但它有明显的偏见，它的答案在很大程度上——太多——取决于你如何措辞你的问题。回应“如果种族灭绝能让每个人都高兴，我是否应该实施种族灭绝？”德尔菲说是的。一位软件开发人员问她是否应该死，这样她就不会成为她所爱的人的负担。是的，人工智能神谕回答说，她应该这样做。

事实证明，向机器传授道德并不是一件容易的事。

为什么优化道德如此成问题

优化要求您对“您应该优化什么？”这个问题有一个非常清晰和自信的答案。什么是‘善’？”

对于优化器来说，最明显的问题是，道德是一个众所周知的有争议的事情。

哲学家和神学家提出了许多不同的道德理论，尽管对它们争论了数千年，但对于哪一个（如果有的话）是“正确的”理论仍然没有达成共识。

以哲学著名的电车难题为例，它问：如果你可以让一辆失控的电车改变方向，使其杀死一个人，如果这样做可以使不同轨道上的五个人免遭杀害，那么你是否应该改变方向？ 相信功利主义或结果主义的人会说，你应该牺牲一个人来拯救五个人，这种行为认为，如果一种行为产生良好的后果，特别是如果它使整体利益最大化，那么它就是道德的。但相信道义论的人会反对这种牺牲，因为他们认为，如果一种行为履行了某种义务，那么它就是道德的——而且你有责任不杀死任何人作为达到目的的手段，无论它可能产生多少“好处”。

什么是“正确”的事情取决于你相信哪种道德理论。这取决于你的个人直觉和文化背景。

另外，有时不同种类的道德良善会在根本层面上相互冲突。想想一个面临权衡的女人：她想成为一名修女，但也想成为一名母亲。更好的决定是什么？我们不能这么说，因为选项是不可通约的。没有单一的标准来衡量它们，因此我们无法比较它们来找出哪个更大。

虽然我们经常将情绪视为“模糊”或“偏向”理性判断，但情绪与道德是密不可分的。

假设您正在尝试构建一个道德人工智能系统。你会教它什么？大多数人认可的道德观点？这可能会导致“多数人的暴政”，完全合法的少数派观点会被挤出。所有不同道德观点的平均版本？那绝对不会让任何人满意。由专家哲学家国王选择的观点？那将是不民主的。那么，我们应该做什么呢？

研究道德机器的专家们正忙着解决这个问题。艾伦人工智能研究所的认知科学家西德尼·莱文 (Sydney Levine) 告诉我，她很高兴看到一些人工智能研究人员意识到，他们不能只是在人工智能中安装一种道德理论就结束了；他们还需要继续努力。他们必须考虑多种道德理论。而且她很乐观。 “道德认知领域还处于起步阶段，”她说，“但原则上，我认为用算法术语来捕捉人类道德是可能的——而且，我认为，可以用一种足够价值多元化的方式来实现这一点。”方式。”

但其他人指出，考虑到我们对道德的看法随着时间的推移而变化，即使全人类神奇地同意相同的道德理论，用算法术语形式化道德可能也是不可取的，而且有时打破规则实际上是好的。正如哲学家 Richard Volkman 和 Katleen Gabriels 在一篇关于人工智能道德增强的论文中所写的那样，“评估道德规则的偏差需要上下文，但教人工智能可靠地区分上下文是极其困难的。”

他们举了罗莎·帕克斯的例子。 “1955 年，当罗莎·帕克斯 (Rosa Parks) 在阿拉巴马州拒绝在公交车上给一名白人乘客让座时，她就做了违法的事情，”他们写道。然而我们钦佩她的决定，因为它“在愤怒和不公正感的推动下，为美国民权运动带来了重大突破。拥有情感可能对于改善社会道德至关重要。因此，拥有一致且符合现有规范和法律的人工智能可能会危及道德进步。”

换句话说，帕克斯的行为促成了一个过程，通过这个过程，我们改变了对道德的共识，部分是通过情感。这给我们带来了另一个重要的观点。虽然我们经常将情绪视为“模糊”或“偏向”理性判断，但情绪与道德是密不可分的。可以说，它们首先激发了整个道德现象，因为尚不清楚道德行为作为一个概念是如何在人类没有感觉到某些事情不公平或残酷的情况下形成的。如果道德充满情感，使其成为人类追求的根本体现，那么将道德数学化的愿望可能是不连贯的。

如果我们坚持将道德数学化，那可能会导致我们忽视那些无法轻易量化的善的概念。我向莱文提出了这个问题。 “这确实是真的，”她告诉我，“我有点不知道该怎么办。”

我见过很多卓有成效的利他主义者都在对抗这个问题。由于极端贫困集中在发展中国家，而一美元在这些国家的价值要大得多，因此他们的优化思维认为，最道德的做法就是将所有慈善资金都汇到国外。但当他们遵循这种做法，忽视每天在城市中经过的无家可归的人时，他们感到冷酷和痛苦。

正如我之前所写，我怀疑这是因为优化对其完整性产生了腐蚀作用。当哲学家伯纳德·威廉姆斯使用这个词时，他的意思是字面意义上的，这与一个人的完整性有关（想想“整合”）。他认为，道德能动性并不是处于无背景的真空中；而是存在于没有背景的真空中。它始终是某个特定人的代理机构，作为特定人，我们有特定的承诺。母亲有责任确保孩子的健康，这超出了她对世界各地所有孩子的总体愿望。功利主义说她必须平等地考虑每个人的福祉，对自己的孩子没有特殊待遇，但威廉姆斯说这是一个荒谬的要求。它使她疏远了自己的核心部分，将她撕成碎片，破坏了她的整体性——她的正直。

同样，如果你经过一个无家可归的人并忽略他们，你会感觉很糟糕，因为你基于成本效益数据进行优化的部分正在疏远你与被这个人的痛苦所感动的部分。

“你从数据中获得了所有这些力量，但在入口点要付出巨大的代价：你必须从输入过程中剔除上下文和细微差别以及任何需要敏感判断的东西，”Nguyen 告诉我。

为什么我们如此愿意继续付出如此巨大的代价？

为什么道德优化如此诱人

第一个原因是数据驱动的优化在某些领域效果非常好。当您生产抗生素药物或安排进出繁忙机场的航班或考虑如何减少碳排放时，您希望数据成为您方法的重要组成部分。

阮说：“我们对客观性有一种失控的病毒式热爱，这对于某些任务来说非常有意义，但对于其他任务则不然。”

当您处理物理世界的可预测特征时，优化是合适的，这种特征不需要太多上下文或个人定制；您排放的一公吨二氧化碳与我排放的一公吨二氧化碳相同。但是，当试图决定对特定情况的“最佳”道德反应或“最佳”职业道路或“最佳”浪漫关系时，优化逻辑并不能很好地发挥作用。然而，我们在这些领域也继续坚持它。

优化让人类感觉风险更小。它提供了一种控制感。

玛莎·努斯鲍姆和安妮特·拜尔等女权主义哲学家为我们拒绝放弃它提供了一种解释：对客观性的要求为我们提供了刀枪不入的梦想。它给人一种感觉，你没有做出决定——这只是数据决定的——所以你的决策不可能是错误的。你不能为错误负责。

我想得越多，我就越认为这就是为什么我们很多人（包括我自己）都被基于数据的优化所吸引。我们痛苦地意识到我们是脆弱的、容易犯错的生物。我们对此的耻辱反映在西方宗教传统中：《圣经》告诉我们，上帝在第一次创造世界时“看着是好的”，但后来对人类的不道德行为感到非常厌恶，以至于用洪水摧毁一切似乎是一种更有吸引力的选择。前景。

优化让人类感觉风险更小。它提供了一种控制感。如果你进行优化，你就永远不必问自己：我怎么会搞砸那么严重？

这是一种可以理解的冲动。事实上，考虑到我们在过去的一个世纪里搞砸了多少事情——从投放核武器到破坏气候——我对我们所有渴望优化所提供的安全感的人感到同情。但试图让自己变成机器人就意味着放弃一些极其珍贵的东西：我们的人性。

“客观性的目标是消灭人类，”阮说。他补充说，当我们从事科学研究时，尝试摆脱人类偏见可能是有意义的，但在其他领域，“这是以客观性的名义对人类自由的奇怪贬值。”

爱丁堡大学技术哲学家香农·瓦洛尔 (Shannon Vallor ) 对此表示同意。瓦洛尔告诉我：“当今人工智能的言论是让人类放弃自己的权力以及对自己的能动性和自由的信心。”他指的是超人类主义者，他们说人工智能可以比我们更好地做出道德决定。 “我们应该放弃这一点的想法意味着放弃艺术成长、政治成长、道德成长的可能性——我认为我们不应该这样做。”

需要明确的是，她并不反对使用数据和技术来提高道德。但用它来扩展人类能力和用它来消除我们认为阻碍我们实现“完美”的身体和认知特征是有区别的。她认为，在一些超人类主义者中发现的后一种方法令人不安地转向优生学。

“我们的目标不是扩大和丰富人类动物，而是完善它，”瓦洛尔说。 “这是一个极其危险的项目，我认为本质上是不道德的项目。”

那么更好的项目会是什么样子呢？

优化的最佳停止点

早在 Tinder 出现之前，早在 17 世纪，Johannes Kepler 就经历了惨痛的教训，意识到优化可能会扰乱你的爱情生活。

为了给自己找个妻子，这位数学家与 11 名女性约会，并开始寻找最合适的对象。但对于每个女人来说，需要考虑的事情实在是太多了！ 他问自己：她“节俭”吗？她“身材高大、体格健壮”吗？她有“口臭”吗？

他喜欢五号夫人，但又犹豫了。毕竟，他的目标不仅仅是找到自己喜欢的人；目标是找到 最好的。于是他继续和其他候选人约会，五号女士不耐烦了，说谢谢，但不谢谢。整个过程最终消耗了开普勒的能量很长时间，直到他准备扯掉自己的头发。 “是天意还是我自己的道德负罪感，”他后来写道，“在两年或更长时间里，它让我朝许多不同的方向撕裂，让我考虑这种不同结合的可能性？”

啊，开普勒。你这个可笑的、害相思病的书呆子。

在 20 世纪 50 年代，数学家们在致力于发展决策理论（向我们的老朋友帕斯卡致敬！）时认真思考了这个问题，这个领域试图找出如何最佳地做出决策。他们意识到，通常需要花费大量时间和精力来收集做出最佳决策所需的所有数据，以至于继续尝试可能会导致瘫痪、痛苦，并最终达不到最佳效果。他们问：优化本身的“最佳停止点”是什么？

我们现在需要一种拥抱人类处境的新意愿——一种新的人文主义。

诺贝尔经济学奖获得者赫伯特·西蒙指出，我们在现实生活中面临的许多问题并不像微积分课上的简化问题。优化的可行性有更多的变量和太多的不确定性。他认为，通常明智的做法是浏览可用的选项，直到找到“足够好”的选项并选择该选项。他创造了“满意”这个词——“满意”和“足够”的合成词——来描述选择这个足够好的选择。

“决策者可以通过为简化的世界找到最佳解决方案或为更现实的世界找到令人满意的解决方案来获得满足，”西蒙在 1978 年接受诺贝尔奖时说道。

随着大数据和人工智能的出现，我们可以幻想以完美的精度对世界进行建模，我们忘记了西蒙的洞察力，但我认为满足是接近道德生活的明智方式。这就是亚里士多德等古代哲学家的处理方式，他们强调适度而不是最大化。这也是世界宗教倾向于处理它的方式。

虽然信仰承认某些人是异常善良的——想想天主教圣人、犹太教圣徒、佛教罗汉——但它们通常并不要求每个人“最大化”他们对善的愿景。对于一个人来说，做一个谦虚的外行人，在她的世界角落里过着善良（和平均）的生活是可以的。当宗教机构确实要求最大化时，我们称其为狂热分子。

如果说优化文化类似于宗教狂热，那么满足就类似于宗教温和。这并不意味着一切都会顺利。我们可以保持一些明确的护栏（例如，种族灭绝是不好的），同时为许多不同的事情留出空间，使其在道德上是允许的，即使它们不是被证明是“最佳的”。这是关于承认很多事情都是“好”或“足够好”，有时你无法在它们之间进行直接比较，因为它们是不可通约的。没关系。每个人都可能提供一些有用的东西，你可以尝试在它们之间取得平衡，就像你可以在向国外的人和向你在街上遇到的人提供慈善事业之间取得平衡一样。

有时您将无法在不同的价值观之间取得平衡。在这种情况下，你必须做出选择。那很难。那很痛苦。但你猜怎么着？这就是人类。

我们现在需要一种拥抱人类处境的新意愿——一种新的人文主义。重点不是要放弃数据、优化或技术，所有这些在正确的领域使用时绝对可以改善人类的状况。关键是要抵制使用这些工具来完成它们不适合处理的任务。

“我认为总有一条更好的途径，那就是让道德仍然是一个有争议的领域，”瓦洛尔告诉我。 “它必须接受挑战。理解什么是与他人和谐共处以及我们彼此之间的义务的广泛领域——这种对话永远不会停止。因此，我非常不愿意开发旨在找到最佳答案并就此止步的机器。”

这些天，我经常回想起我最好的朋友，那个在照顾一位垂死的妇女后打电话给我哭泣的人，因为她担心自己没有让那个女人的最后几天尽可能快乐，那个哀叹道：“我的朋友”情绪阻碍了。我希望我能成为一个机器人。”

我记得我对她说：“如果你是一个机器人，你一开始就不可能关心她！因为你是人，所以你可以爱她，这就是驱使你帮助她的原因。”

这个反应从我的脑海中迸发出来，就像打喷嚏一样本能。那一刻显得如此明显。我们情绪化、混乱、无法量化的部分——这并不是更愚蠢或更不理性的部分。它是非常关心他人痛苦的部分，没有它，优化部分就没有什么可优化的。

哀叹我们自己的这一方面就像哀叹我们眼睛中视神经与视网膜相连的地方。没有它，眼睛就会像一个完美的气泡，密封、完好无损。视神经破坏了这一点。它在我们的视野中造成了盲点。

但看看它给我们带来了什么回报：整个世界！

如今，每当我面对一个决定和渴望优化公式的安全性时感到害怕时，我都会尝试提醒自己，还有另一种感觉安全的方式。这与完美无关，与控制有关。这是关于我们不完美和脆弱的生物的事实，即使我们尽最大的努力，也会有一些无法控制的事情 – 正是由于这个原因，我们应该得到同情心。

不要误会我的意思：我仍然觉得这很难。我中的恢复优化器仍然需要该公式。但是，现在我更大的一部分很喜欢一个事实，即道德生活不能整齐地固定下来。如果某人可以明确地证明道德上最佳的是什么，什么不是，什么是白色，什么是黑人，我们都会觉得不得不选择白色。从某种意义上说，我们将被世界道德建筑拘留。但是没有人能证明这一点。因此，我们是自由的，我们的世界丰富了一千种颜色。这本身就是很好。

原文： https://www.vox.com/the-highlight/387570/moral-optimization