启发现代人工智能艺术的物理原理

DALL·E 2 制作了这些“金鱼在海滩上啜饮可口可乐”的图像。这个由 OpenAI 创建的程序可能从未遇到过类似的图像，但仍然可以自行生成它们。

达尔·E 2

现在您可以使用此概率分布来生成新图像。您需要做的就是随机生成新的数据点，同时遵守更频繁地生成更多可能数据的限制——这个过程称为“采样”分布。每个新点都是一个新图像。

同样的分析适用于更逼真的灰度照片，例如每张一百万像素。只是现在，绘制每个图像需要的不是两个轴，而是一百万个。此类图像的概率分布将是一些复杂的百万加一维曲面。如果您对该分布进行采样，您将产生一百万个像素值。将这些像素打印在一张纸上，图像很可能看起来像原始数据集中的照片。

生成建模的挑战是为构成训练数据的某些图像集学习这种复杂的概率分布。该分布之所以有用，部分原因是它捕获了有关数据的广泛信息，部分原因是研究人员可以结合不同类型数据（例如文本和图像）的概率分布来构成超现实的输出，例如金鱼在海滩上啜饮可口可乐. “你可以混合和匹配不同的概念……以创建训练数据中从未见过的全新场景，”Anandkumar 说。

2014 年，一种称为生成对抗网络 (GAN) 的模型成为第一个生成逼真图像的模型。 “太激动了，”Anandkumar 说。但是 GAN 很难训练：它们可能无法学习完整的概率分布，并且可能只能从分布的一个子集生成图像。例如，在各种动物图像上训练的 GAN 可能只生成狗的图片。

机器学习需要一个更强大的模型。 Jascha Sohl-Dickstein的作品受到物理学的启发，他将提供一个。

兴奋的斑点

在 GAN 发明前后，Sohl-Dickstein 是斯坦福大学的一名博士后，研究生成模型，对非平衡热力学也有兴趣。物理学的这个分支研究不处于热平衡状态的系统——那些在内部以及与环境交换物质和能量的系统。

一个说明性的例子是一滴蓝色墨水通过一个水容器扩散。起初，它在一个地方形成一个黑色的斑点。此时，如果你想计算在容器的某个小体积中找到墨水分子的概率，你需要一个概率分布来清晰地模拟墨水开始扩散之前的初始状态。但这种分布很复杂，因此很难从中抽样。

然而，最终，墨水扩散到整个水中，使水变成淡蓝色。这导致可以用简单的数学表达式描述的更简单、更均匀的分子概率分布。非平衡热力学描述了扩散过程中每一步的概率分布。至关重要的是，每一步都是可逆的——通过足够小的步骤，您可以从一个简单的分布返回到一个复杂的分布。

Sohl-Dickstein 使用扩散原理开发了生成建模算法。这个想法很简单：该算法首先将训练数据集中的复杂图像转化为简单的噪声——类似于从一滴墨水变成漫射淡蓝色的水——然后教系统如何反转这个过程，将噪声转化为图像。

这是它的工作原理。首先，该算法从训练集中获取图像。和以前一样，假设百万像素中的每一个都有一些值，我们可以将图像绘制为百万维空间中的一个点。该算法在每个时间步向每个像素添加一些噪声，相当于墨水在一个小时间步后的扩散。随着这个过程的继续，像素值与它们在原始图像中的值的关系越来越小，像素看起来更像是一个简单的噪声分布。 （该算法还在每个时间步将每个像素值向原点微移一点点，即所有这些轴上的零值。这种微移可以防止像素值变得太大以至于计算机无法轻松处理。）

对数据集中的所有图像执行此操作，百万维空间中点的初始复杂分布（无法轻易描述和采样）变成围绕原点的简单、正态分布的点。

Sohl-Dickstein 说：“转换序列非常缓慢地将你的数据分布变成一个大噪音球。”这个“前向过程”为您提供了一个可以轻松采样的分布。

杨松帮助提出了一种通过训练网络有效地解读嘈杂图像来生成图像的新技术。

接下来是机器学习部分：为神经网络提供从正向传递中获得的噪声图像，并训练它预测更早一步出现的噪声较小的图像。一开始它会出错，所以你调整网络的参数，让它做得更好。最终，神经网络可以可靠地将代表简单分布样本的噪声图像一直转换为代表复杂分布样本的图像。

经过训练的网络是一个成熟的生成模型。现在您甚至不需要原始图像来进行前向传递：您拥有简单分布的完整数学描述，因此您可以直接从中采样。神经网络可以将这个样本——本质上只是静态的——变成类似于训练数据集中图像的最终图像。

Sohl-Dickstein 回忆起他的扩散模型的第一个输出。 “你会眯着眼睛说，’我认为那个彩色斑点看起来像一辆卡车，’”他说。 “我花了这么多个月的时间盯着不同的像素模式，并试图看到我喜欢的结构，’这比我以前得到的更有条理。’我感到非常兴奋。”

展望未来

Sohl-Dickstein 在 2015 年发表了他的扩散模型算法，但仍然远远落后于 GAN 的能力。虽然扩散模型可以对整个分布进行采样，并且永远不会只吐出图像的一个子集，但图像看起来更糟，而且过程太慢了。 “我认为当时这并不令人兴奋，”Sohl-Dickstein 说。

需要两名既不了解 Sohl-Dickstein 也不了解对方的学生，才能将最初工作中的点点滴滴与 DALL·E 2 等现代扩散模型联系起来。第一个是 Song，当时他是斯坦福大学的博士生。 2019 年，他和他的导师发表了一种构建生成模型的新方法，该方法不估计数据（高维表面）的概率分布。相反，它估计了分布的梯度（将其视为高维表面的斜率）。

Jonathan Ho 和他的同事结合了 Sohl-Dickstein 和 Song 的方法，使现代扩散模型成为可能，例如 DALL·E 2。

现代扩散模型还有一个关键要素：大型语言模型 (LLM)，例如 GPT-3。这些是基于互联网文本训练的生成模型，用于学习单词而不是图像的概率分布。 2021 年，Ho（现在是一家隐形公司的研究科学家）和他在 Google Research 的同事Tim Salimans以及其他地方的其他团队展示了如何将来自 LLM 和图像生成扩散模型的信息结合起来使用文本（例如， “金鱼在海滩上啜饮可口可乐”）来指导扩散过程，从而引导图像生成。这种“引导扩散”过程是文本到图像模型成功的背后原因，例如 DALL·E 2。

“它们远远超出了我最疯狂的期望，”何说。 “我不会假装我看到了这一切。”

产生问题

尽管这些模型非常成功，但 DALL·E 2 及其同类产品的图像仍远非完美。大型语言模型可以在它们生成的文本中反映文化和社会偏见，例如种族主义和性别歧视。那是因为他们接受了从互联网上摘录的文本的训练，而这些文本通常包含种族主义和性别歧视的语言。在此类文本上学习概率分布的 LLM 充满了相同的偏见。扩散模型也在从互联网上获取的未经整理的图像上进行训练，这些图像可能包含类似的有偏见的数据。难怪将法学硕士与当今的传播模型相结合有时会产生反映社会弊病的图像。

Anandkumar 拥有第一手经验。当她尝试使用基于扩散模型的应用程序生成自己的风格化头像时，她感到震惊。 “这么多 [许多] 图像都被高度性感化了，”她说，“而它呈现给男性的东西却并非如此。”她并不孤单。

可以通过整理和过滤数据（考虑到数据集的庞大性，这是一项极其困难的任务）或通过检查这些模型的输入提示和输出来减少这些偏差。 “当然，没有什么能代替仔细和广泛的安全测试”一个模型，Ho 说。 “这对该领域来说是一个重要的挑战。”

尽管存在这些顾虑，Anandkumar 仍然相信生成建模的力量。 “我真的很喜欢理查德费曼的名言：’我无法创造的东西，我不明白，’”她说。加深的理解使她的团队能够开发生成模型，例如，生成用于预测任务的代表性不足的类别的合成训练数据，例如用于面部识别的较深肤色，有助于提高公平性。生成模型还可以让我们深入了解我们的大脑如何处理嘈杂的输入，或者它们如何唤起心理意象并考虑未来的行动。构建更复杂的模型可以赋予人工智能类似的能力。

Anandkumar 说：“我认为我们才刚刚开始探索使用生成式 AI 可以做什么的可能性。”