最近几天,人们对新的 DeepSeek-R1 AI 模型的反应似乎是无限的。有人说它的运行速度比现有模型快得多,以至于我们将不再需要大型科技公司准备购买的数十亿美元的计算硬件。
这是真的吗?
要找到答案,我们只需回顾一下最近完成的百亿亿级计算项目的经验即可。这个大型多实验室项目的任务是开发技术(主要是软件),为百亿亿次计算做好准备, Frontier 、 Aurora和El Capitan最近已经实现了这一目标。
在项目过程中,科学团队发现了各种算法和实现改进,这些改进可实现高达60 倍或更多的加速,超过仅靠硬件实现的加速 [1]。作为回应,团队是否只是在旧硬件上更快地运行相同的问题?不,相反,他们现在能够利用硬件和软件的改进来解决比以前更大的问题。
或者假设今天还没有快速傅里叶变换(FFT)这样的东西,科学家们正在使用(本质上)大型密集矩阵向量乘积来计算傅里叶变换。如果后来有人发现了 FFT,我向你保证科学家们不仅会说,(1)“哇,现在我可以更快地运行我现有的问题”,而且还会,(2)“哇,现在我可以处理比我想象的更大的问题,解决比我想象的更大的问题!”
矛盾的是,更快的算法甚至可能会增加对更新、更快硬件的需求。例如,一种用于设计治疗癌症药物的更快的新算法可能会被认为非常重要,以至于值得建造尽可能大的机器来有效运行它。
所有这一切并不是说你现在是否应该购买或出售 Nvidia 股票。然而,这确实意味着没有简单的论点认为更快的算法和实现必然会导致计算硬件的支出降低。历史表明,有时这根本不是事实。另一方面,聪明的钱花在研究团队身上,他们能够利用任何新发现来改进其代码的可能性,无论是通过硬件、数据、代码优化还是算法。
笔记
[1] 请参阅 Doug Kothe 演讲的幻灯片 9,“ 百亿亿次计算与人工智能:美好的结合”。 “品质因数”(FOM) 数字代表与早期基线系统相比,应用程序的科学输出加速。具体来说, 50 倍的 FOM 加速是由于仅有效使用硬件而预期的相对于基线的加速,例如,与早期的 OLCF Titan系统相比,在 Frontier 上。
DeepSeek-R1 帖子:我们现在需要更少的计算吗?首次出现在约翰·D·库克 (John D. Cook)节目中。
原文: https://www.johndcook.com/blog/2025/02/03/deepseek-r1-do-we-need-less-compute-now/