Quanta 杂志的 Dan Page
一个隔音板条箱内是世界上最糟糕的神经网络之一。在看到数字 6 的图像后，它会停顿片刻，然后再识别数字：零。领导网络开发的康奈尔大学物理学工程师彼得麦克马洪（Peter McMahon）羞怯地为它辩护，指出手写数字看起来很草率。从 NTT Research 访问 McMahon 实验室的博士后 Logan Wright 向我保证，该设备通常可以得到正确的答案，但承认错误很常见。 “就是这么糟糕，”他说。
尽管表现平平，但这个神经网络是开创性的。研究人员将板条箱翻了过来，露出的不是计算机芯片，而是一个麦克风，麦克风朝向用螺栓固定在扬声器上的钛板。其他神经网络在 0 和 1 的数字世界中运行，但该设备运行在声音上。当 Wright 提示一个数字的新图像时，它的像素被转换成音频，当扬声器摇动盘子时，实验室里充满了微弱的颤抖声。金属混响进行“阅读”，而不是运行在硅片上的软件。该设备通常会成功，甚至对它的设计者来说也是如此。
“无论震动金属的功能是什么，它都不应该与手写数字的分类有关，”麦克马洪说。
该设备的原始阅读能力，康奈尔小组在一月份在《自然》杂志上发表的一篇论文中，让麦克马洪和其他人希望它的遥远后代能够彻底改变计算。
谈到传统的机器学习，计算机科学家发现越大越好。用更多的人工神经元（存储数值的节点）填充神经网络可以提高其区分腊肠犬和斑点狗的能力，或者在无数其他模式识别任务中取得成功。真正巨大的神经网络可以完成令人不安的人类工作，例如撰写论文和创作插图。有了更多的计算能力，更伟大的壮举可能成为可能。这种潜力激发了许多人努力开发更强大和更有效的计算方法。
麦克马洪和一群志同道合的物理学家倡导一种非正统的方法：让宇宙为我们处理数字。 “许多物理系统自然可以比计算机更有效或更快地进行某些计算，”麦克马洪说。他引用了风洞：当工程师设计一架飞机时，他们可能会将蓝图数字化，并在一台超级计算机上花费数小时来模拟空气如何在机翼周围流动。或者他们可以将车辆放入风洞中，看看它是否能飞起来。从计算的角度来看，风洞会立即“计算”机翼与空气的相互作用。
Peter McMahon 和 Tatsuhiro Onodera 是康奈尔大学团队的成员，他们编写了各种物理系统来完成学习任务。
康奈尔大学的戴夫·伯班克
风洞是一心一意的机器。它模拟空气动力学。像麦克马洪这样的研究人员正在寻找一种可以学习做任何事情的装置——一种可以通过反复试验来调整其行为以获得任何新能力的系统，例如对手写数字进行分类或区分一个口语元音。最近的研究表明，光波、超导体网络和电子分支流等物理系统都可以学习。
“我们不仅在重塑硬件，”瑞士苏黎世联邦理工学院的数学家Benjamin Scellier说，他帮助设计了一种新的物理学习算法，“也在重塑整个计算范式”。
学习思考
学习是一个奇异的过程；直到大约十年前，大脑是唯一做得好的系统。正是大脑的结构启发了计算机科学家设计深度神经网络，这是现在最流行的人工学习模型。
深度神经网络是一种通过实践学习的计算机程序。网络可以被认为是一个网格：称为神经元的节点层存储值，通过线或“突触”连接到相邻层中的神经元。最初，这些突触只是被称为“权重”的随机数。
当您希望网络读取一个数字（例如 4）时，您可以让第一层神经元表示 4 的原始图像，也许将每个像素的阴影存储为相应神经元中的一个值。然后网络“思考”，逐层移动，将神经元值乘以突触权重以填充下一层神经元。最后一层中具有最高值的神经元表示网络的答案。例如，如果它是第二个神经元，网络会猜测它看到了 2。
为了教网络做出更聪明的猜测，学习算法向后工作。在每次试验之后，它计算猜测和正确答案之间的差异（在我们的示例中，这将由最后一层中第四个神经元的高值和其他地方的低值表示）。然后一个算法逐层回溯网络，计算如何调整权重，以使最终神经元的值根据需要上升或下降。这个过程称为反向传播，是深度学习的核心。
通过多次猜测和调整重复，反向传播将权重引导到数字配置，该配置将通过图像发起的级联乘法，吐出写在那里的数字。
但与大脑中发生的任何事情相比，人工神经网络中发生的学习数字化版本看起来效率非常低。每天摄入不到 2,000 卡路里的热量，人类儿童在几年内就能学会说话、阅读、玩游戏等等。在如此有限的能量饮食中，开创性的 GPT-3，一种能够流利交谈的神经网络，需要一千年才能学会聊天。
从物理学家的角度来看，大型数字神经网络只是试图做太多的数学运算。当今最大的庞然大物必须记录和操纵超过5 万亿个数字。与此同时，宇宙不断完成的任务远远超出了计算机微薄的簿记能力的极限。一个房间可能有数万亿个空气分子在四处弹跳；对于计算机来说，在完全成熟的碰撞模拟中跟踪运动部件的数量是不可能的，但空气本身可以毫不费力地决定如何时刻表现。
挑战在于构建物理系统，该系统可以自然地完成 AI 所需的两个过程——（比如）对图像进行分类所涉及的“思考”，以及正确分类这些图像所需的“学习”。掌握这两项任务的系统将利用宇宙的数学运算能力，而无需实际进行数学运算。
“我们从不计算 3.532 乘以 1.567 之类的，”Scellier 说。 “它已经完成了，但隐含地，只是直接根据物理定律。”
思考部分
麦克马洪和他的合作者在“思考”这块拼图中取得了进展。
在大流行前的最后几个月里，麦克马洪在康奈尔建立了他的实验室时，他仔细考虑了一个奇怪的发现。多年来，性能最好的图像识别神经网络越来越深入。也就是说，具有更多层的网络能够更好地接收一堆像素并贴出标签，例如“贵宾犬”。这一趋势激发了数学家研究网络正在实现的转换（从像素到“贵宾犬”），并且在 2017 年，几个小组提出网络的行为类似于平滑数学函数的近似版本。在数学中，函数将输入（通常是沿x轴的位置）转换为输出（该位置的曲线的y值或高度）。在特定类型的神经网络中，层数越多越好，因为函数的参差不齐，更接近理想曲线。
这项研究让麦克马洪开始思考。也许有了一个平滑变化的物理系统，人们可以回避数字方法固有的块状。
诀窍是找到一种方法来驯化一个复杂的系统——通过训练来调整它的行为。 McMahon 和合作者选择钛板作为这样的系统之一，因为它的多种振动模式以复杂的方式混合了传入的声音。为了让盘子像神经网络一样工作，他们输入了一种声音来编码输入图像（例如手写的 6），另一种声音代表突触权重；峰和谷需要在正确的时刻撞击钛板，以便设备合并声音并给出答案——例如在第六毫秒内最大声的新声音，代表分类“6”。
康奈尔大学的一个团队训练了三种不同的物理系统来“读取”手写数字。顶部是振动钛板、晶体和电子电路。
康奈尔大学的 Rob Kurcoba（上图和中图）；查理伍德为广达杂志（下）
康奈尔大学的一个团队训练了三种不同的物理系统来“读取”手写数字：从左到右，振动钛板、晶体和电子电路。
康奈尔大学的 Rob Kurcoba（左和中）；查理伍德为广达杂志（右）
该小组还在一个光学系统中实施了他们的方案——其中输入图像和权重被编码成两束由晶体混合在一起的光束——以及一个能够类似改组输入的电子电路。原则上，任何具有拜占庭行为的系统都可以，尽管研究人员认为光学系统具有特别的前景。水晶不仅可以极快地融合光线，而且光线中还包含着丰富的关于世界的数据。麦克马洪想象他的光学神经网络的微型化版本有一天会成为自动驾驶汽车的眼睛，在将信息输入车辆的计算机芯片之前识别停车标志和行人，就像我们的视网膜对入射光进行一些基本的视觉处理一样。
然而，这些系统的致命弱点是训练它们需要回到数字世界。反向传播涉及反向运行神经网络，但板和晶体不容易混合声音和光。因此，该小组构建了每个物理系统的数字模型。在笔记本电脑上反转这些模型，他们可以使用反向传播算法来计算如何调整权重以给出准确的答案。
通过这种训练，平板学会了正确分类手写数字的概率为 87%。电路和激光分别达到了 93% 和 97% 的准确度。结果表明，“不仅标准的神经网络可以通过反向传播进行训练，”法国国家科学研究中心 (CNRS) 的物理学家Julie Grollier说。 “那好美丽。”
该小组颤抖的金属板尚未使计算更接近大脑的惊人效率。它甚至没有达到数字神经网络的速度。但麦克马洪认为他的设备是惊人的，即使是普通的，证明你不需要大脑或计算机芯片来思考。 “任何物理系统都可以是神经网络，”他说。
学习部分
谜题的另一半的想法比比皆是——让一个系统自己学习。
德国马克斯·普朗克光科学研究所的物理学家弗洛里安·马夸特认为，一种选择是制造一台向后运行的机器。去年，他和一位合作者提出了一种可以在这样的系统上运行的反向传播算法的物理模拟。
为了证明它的工作原理，他们用数字模拟了一个有点像 McMahon 的激光装置，可调节的权重被编码在与另一个输入波混合的光波中（例如，编码图像）。他们推动输出更接近正确答案，并使用光学元件来分解波，从而逆转过程。 “神奇的是，”Marquardt 说，“当你再次尝试使用相同输入的设备时，[输出] 现在倾向于更接近你想要的位置。”接下来，他们正在与实验者合作建立这样一个系统。
但是专注于反向运行的系统限制了选择，因此其他研究人员完全放弃了反向传播。他们从知道大脑以不同于标准反向传播的其他方式学习而受到鼓舞。 “大脑不是这样工作的，”Scellier 说。神经元 A 与神经元 B 通信，“但它只是单向的”。
法国国家科学研究中心的物理学家 Julie Grollier 实施了一种物理学习算法，该算法被视为反向传播的一种有前途的替代方案。
2017 年，Scellier 和蒙特利尔大学的计算机科学家Yoshua Bengio开发了一种称为平衡传播的单向学习方法。为了了解它是如何工作的，想象一个像神经元一样的箭头网络，它们的方向指示 0 或 1，由充当突触权重的弹簧连接成一个网格。弹簧越松，连接的箭头就越不容易对齐。
首先，您扭转最左侧行中的箭头以反映您手写数字的像素并将它们固定，同时干扰通过弹簧涟漪散开，翻转其他箭头。当翻转停止时，最右边的箭头给出答案。
至关重要的是，您不必通过不翻转箭头来训练这个系统。相反，您连接另一组箭头，沿网络底部显示正确答案；上一组中的这些翻转箭头，整个网格进入一个新的平衡。最后，您将箭头的新方向与旧方向进行比较，并相应地拧紧或松开每个弹簧。在许多试验中，弹簧获得了更智能的张力，Scellier 和 Bengio 已经证明这相当于反向传播。
“人们认为物理神经网络和反向传播之间没有可能的联系，”Grollier 说。 “最近情况发生了变化，这非常令人兴奋。”
关于平衡传播的最初工作都是理论上的。但在即将出版的出版物中，Grollier 和 CNRS 的物理学家 Jérémie Laydevant 描述了该算法在 D-Wave 公司制造的称为量子退火器的机器上的执行。该设备有一个由数千个相互作用的超导体组成的网络，这些超导体可以像由弹簧连接的箭头一样，自然地计算出应该如何更新“弹簧”。但是，系统无法自动更新这些突触权重。
闭环
至少有一个团队已经收集了这些碎片来构建一个电子电路，该电路可以完成所有繁重的工作——思考、学习和更新重量——与物理有关。 “我们已经能够为一个小型系统闭环，”宾夕法尼亚大学的物理学家Sam Dillavou说。
宾夕法尼亚大学的物理学家萨姆·迪拉沃（Sam Dillavou）正在修补一种可以在学习时自行修改的电路。
Dillavou 和他的合作者的目标是模仿大脑，这是一种真正的智能物质：一个相对统一的系统，可以在没有任何单一结构的情况下进行学习。 “每个神经元都在做自己的事情，”他说。
为此，他们构建了一个自学习电路，其中可变电阻器充当突触权重，神经元是电阻器之间测量的电压。为了对给定的输入进行分类，它将数据转换为施加到几个节点的电压。电流通过电路，寻找耗散能量最少的路径，并在其稳定时改变电压。答案是指定输出节点的电压。
他们的主要创新来自于不断挑战的学习步骤，为此他们设计了一种类似于平衡传播的方案，称为耦合学习。当一个电路接收数据并“思考”一个猜测时，第二个相同的电路从正确答案开始并将其纳入其行为中。最后，连接每对电阻器的电子设备会自动比较它们的值并调整它们以实现“更智能”的配置。
该小组在去年夏天的预印本中描述了他们的基本电路，表明它可以以 95% 的准确率学会区分三种类型的花朵。现在他们正在开发一种速度更快、功能更强大的设备。
即使是这种升级也无法击败最先进的硅芯片。但构建这些系统的物理学家怀疑，数字神经网络——就像它们今天看起来一样强大——最终将在其模拟表亲旁边显得缓慢且不足。数字神经网络在因过度计算而陷入困境之前只能扩展这么多，但更大的物理网络除了做自己之外不需要做任何事情。
“这是一个如此庞大、快速发展和多样化的领域，我很难相信不会有一些非常强大的计算机采用这些原理制造出来，”Dillavou 说。
原文： https://www.quantamagazine.org/how-to-make-the-universe-think-for-us-20220531/