几个星期以来,我一直在推广拼写作为针对 GPT-3 和 Stable Diffusion 等生成 AI 系统的快速设计的隐喻。
这是我最近的 Changelog 播客节目片段中的一个示例。
结尾的相关部分(由 Whisper协助转录):
当你使用这些时,你就不再是程序员了。你是个巫师,对吧?我一直想成为一名巫师。我们现在要成为巫师了。我们正在学习这些咒语。我们不知道它们为什么起作用。为什么神经漫游者有效?谁知道?没人知道。但是你将它添加到你的法术书中,然后你将它与其他法术结合起来。如果你不走运并且以错误的方式将它们组合在一起,你可能会遇到恶魔。
今天早上我在 Twitter 上就这个比喻是否有害或有帮助进行了一场有趣的辩论。有一些非常有趣的观点可以讨论!
简短的版本:我现在确信这个比喻的价值会根据观众而改变。
这里的关键挑战是避免暗示这些系统是“神奇的”,因为它们难以理解和神秘。因此,我相信这个比喻只适用于从坚定的技术角度与使用这些系统的人交谈时。
扩展施法隐喻
当我将提示与咒语进行比较并且我正在与另一位软件工程师交谈时,这是我试图传达的信息:
编写提示不像编写常规代码。没有 API 参考或编程语言规范可以让您准确预测会发生什么。
相反,您必须进行试验:尝试不同的提示片段,看看哪些有效。当您对这些片段有所了解时,您就可以开始探索将它们组合在一起时会发生什么。
随着时间的推移,你会开始对什么是有效的产生直觉。您将构建自己的片段和模式集合,并与其他人交换它们。
这个过程的奇怪之处在于,没有人能真正理解每个片段是如何工作的——即使是模型的创建者也不行。我们已经了解到,“Artstation 趋势”通过稳定扩散产生更好的图像 – 但我们只能对原因形成模糊的直觉。
老实说,它更像是虚构的施法而不是编程。每个碎片都是你学到的一个新法术,可以添加到你的法术书中。
这令人困惑,令人惊讶,而且非常有趣。
对我来说,这非常准确地捕捉到了我使用提示的经验。我希望这是一种有用的方式来吸引其他程序员探索这个迷人的新领域。
我喜欢这个比喻的另一点是,在我看来,它也涉及到生成人工智能的一些风险。
小说中充满了魔法出错的故事:巫师失去了对他们不完全理解的力量的控制。
当我想到即时注射攻击时,我会想象好巫师和邪恶巫师互相施放咒语和反咒语!简单英语的软件漏洞完全符合我施法的心理模型。
但在 Twitter 上讨论这个问题时,我意识到这个比喻对你是否有意义,很大程度上取决于你想到的是哪个特定的魔法系统。
我是在 Terry Pratchett 的 Discworld 中长大的,它有一个极其丰富且极具讽刺意味的魔法系统。不正确的咒语经常产生恶魔! Discworld 的巫师大多是学者,他们花更多的时间思考午餐而不是练习魔法。最有趣的从业者是女巫,对她们来说最有用的魔法更像是应用心理学(书中的“头脑学”。)
如果你对“魔法”的心智模式是无法解释的超自然现象和仙女许愿,那么我的类比并不适合。
魔术是人工智能的有害隐喻
这个隐喻造成伤害的论点与帮助公众了解该领域正在发生的事情的更大挑战有关。
看看幕后:不要被 Emily M. Bender 所声称的“人工智能”所迷惑。本德尔是对其中一些挑战的有用总结。
在 2015 年的《华盛顿邮报》一书中,乔恩·埃文斯 (Jon Evans) 指出,将技术视为“魔法”会带来人们要求解决无法交付的社会问题解决方案的风险。
对于拥有 20 年软件工程经验的人来说,准确了解这些系统的功能以及它们的工作方式已经足够困难,更不用说其他所有人了。
人们最不需要的就是被告知这些系统是“神奇的”——这是他们永远无法理解和控制的东西。
这些系统并不神奇。他们是数学。事实证明,如果你在一个问题上投入了足够多的矩阵乘法和示例数据(字面意思是 TB),你就可以得到一个看起来可以做不可能事情的系统。
但是暗示他们是魔法——甚至是“聪明”——并没有给人们一个有用的心智模型。 GPT-3 不是巫师,也不是智能的:它是一只随机鹦鹉,它只能预测接下来应该出现哪个单词以形成一个与它训练过的语料库最匹配的句子。
这对我很重要。在我围绕 AI 伦理进行的对话中,我发现唯一普遍的答案是,帮助人们了解这些系统可以做什么以及它们如何工作是合乎道德的。
所以我打算用我的隐喻更加刻意。我将继续与那些不会认为这些系统是难以理解的魔法的书呆子们一起热衷于施法,但我会继续寻找更好的方法来帮助向其他人解释这些系统。
原文: http://simonwillison.net/2022/Oct/5/spell-casting/#atom-everything