Neha Wadia 是计算数学中心的 Flatiron 研究员。学分：约翰斯莫克机器学习模型，也称为人工智能模型，近年来在复杂性方面取得了惊人的飞跃，并正在大量进入公共领域。最明显的例子是聊天机器人 ChatGPT 和图像生成器 DALL·E 2。尽管取得了这些进步，但在机器学习完全融入社会之前，仍然需要做大量工作来使其更加高效、可靠、安全和公平——无论是在文本生成器的上下文或自动驾驶汽车等高风险技术。
Flatiron 研究员Neha Wadia是努力使机器学习更加高效和可靠的研究人员之一。她正在从事的一个项目应用数值分析的方法来更有效地训练机器学习模型。
Wadia 于 2022 年加入熨斗研究所的计算数学中心(CCM)。在此之前，她获得了博士学位。她在加州大学伯克利分校获得生物物理学博士学位，在 Perimeter 理论物理研究所获得物理学硕士学位，在阿默斯特学院获得物理学学士学位。她是印度班加罗尔国家生物科学中心的初级研究员。
Wadia 最近与西蒙斯基金会谈到了她的工作和机器学习的未来。为清楚起见，对对话进行了编辑。
您正在从事哪些机器学习项目？
我现在从事的主要项目之一是优化领域，这是机器学习的技术主力。在机器学习中，我们通常从一个数据集和一个模型开始，我们对其进行训练以学习数据的函数。训练是通过解决一个优化问题来实现的，在这个优化问题中，我们通过调整模型的参数来最小化模型性能误差的一些度量。例如，如果我们正在训练一个模型来识别图像中的人类，我们可以通过模型错误回答的图像数量来衡量性能。
这是一个优化类比：假设您正在山地景观中行走，并试图找到最深的山谷。一个合理的策略是环顾四周寻找最陡峭的斜坡，然后朝那个方向迈出一步。希望通过一遍又一遍地重复这个过程，您最终会到达最深点，或者至少是您在给定初始位置时可能到达的最深点。在这个类比中，景观上的每个点都是模型的一组可能参数值，景观的高度是模型误差的度量。步行对应于调整模型参数。
事实证明，计算下一步的方向并不难。难以决定的是迈出多大的一步。要理解这一点，请想象一下在碗形表面上行走。如果你迈出太长的一步，你可能会越过底部并最终落在碗的另一边。如果你采取的步骤太小，你可能会在到达那里之前耗尽你的计算预算。我们必须选择每一步的大小，这样我们就不会走太多步，也不会错过我们正在寻找的山谷。
为了选择合适的步长，我们经常使用所谓的自适应步长方法，这是一类算法，可以在每次迭代时以尊重速度和计算预算之间权衡的方式调整步长。这些方法的缺点是它们通常难以解释，并且每次迭代可能需要比其他一些方法更大的计算预算。出于这两个原因，我正在致力于开发新的、高效的和可解释的自适应优化方法。我与我的合作者一起借鉴了数值分析的技术——数值分析是与模拟动力系统等相关的数学领域——并将它们应用于优化。粗略地说，主要思想是将机器学习模型的训练过程重新表述为一个动态系统，并利用数值分析中现有的高效和有原则的技术来模拟该系统。
在这个项目上工作真的很有用，因为 CCM 拥有世界上最好的数值分析小组之一。我一直在学习小组的数值分析证明技术，以证明它在优化的背景下也有效。能够走到隔壁并依靠他们的专业知识真是太好了。很高兴看到一个数学领域的想法被成功地用于另一个领域。它以一种美丽的方式庆祝计算科学的统一。
您是否接近大规模应用程序？
还没有。初步实验结果似乎表明该方法非常有效，并且在小规模（具有几百个参数的模型）上的计算效率非常高。按照现代标准，这并不是很多，模型通常有数百万个参数。我很快就会开始在更大范围内对该方法进行编码，并查看它的执行情况。
鉴于我目前在实验中看到的结果，我认为我的工作肯定会引起优化理论界的兴趣。如果该方法在更大范围内表现良好，那么构建大型模型的人也可能会对它感兴趣。它将为当前大规模使用的自适应方法提供一种可解释的替代方法。
我在机器学习中发现的一件有趣的事情是，为了了解管道的某些部分如何工作而可能提出的各种“第一性原理”问题的答案通常也具有实际意义或产生新的算法。我现在正在做的关于高效自适应步长方法的工作源于试图理解机器学习中常用优化算法的动态。动力学是至关重要的，因为它们确切地影响所学的内容，因此如果我们理解并因此更好地控制动力学，我们可以直接将更高的效率和我们关心的其他属性设计到我们的模型中。
效率很重要，因为大型模型需要巨大的计算能力并且具有大量的碳足迹。一个大型模型的训练过程所排放的二氧化碳相当于纽约和旧金山之间数百个航班所排放的二氧化碳，按每位乘客计算。显然，我们训练的效率越高，我们就越能减少碳排放。
我们关心的另一个我们知道受优化动态影响很大的属性是稳健性，当机器学习模型用于社会环境时，这一点至关重要，尤其是当它们的输出是潜在高风险决策的基础时。例如，如果自动驾驶汽车中的图像识别系统无法可靠地区分被涂鸦覆盖的停车标志和限速标志，则可能会造成危险情况。
您如何看待十年后的机器学习？
好吧，10 年前，如果你告诉机器学习研究人员我们会在十年内拥有这些生成模型——比如 DALL·E 2 和 ChatGPT——他们不会相信你。
我们正处于这个领域的一个激动人心的时刻，因为正在构建模型的人们在聊天机器人和艺术生成器等新应用程序方面的能力确实让我们感到惊讶。我怀疑这种情况会以我什至无法预测的方式继续下去。
然而，在研究端和社会端也存在着巨大的挑战，这些挑战交织在一起。我相信，了解培训动态将使我们能够至少部分地解决许多问题，包括缺乏稳健性、效率和公平性。
我希望我们在 10 年内取得进展的另一个大问题是如何为模型的准确性分配误差条。例如，如果您使用图像识别算法来帮助医生识别癌性肿瘤，您需要能够对模型的正确频率提供一些保证。机器学习中不确定性量化的整个科学目前几乎完全缺失。
在不久的将来，我对机器学习研究还有另外两个希望。首先，虽然我们正在突破机器学习模型可以做什么的极限，但我认为了解它们不能做什么同样重要。作为该领域的研究人员，当模型被用于公共领域——甚至科学本身——时，我感到很紧张，尽管我们并不了解它们的局限性。其次，我也很清楚，即使是我们这些主要从事纸笔研究的机器学习人员也在对世界产生影响。作为科学家，我们没有受过训练来思考我们的研究和我们的观点可能产生的影响。这需要改变。我认为我们需要更加直言不讳地谈论我们的作品是如何被使用的。