从头开始 GPU 编程

Jeremy Howard说：我真的很高兴向大家介绍 Sarah Pan，她是一位非凡且鼓舞人心的 AI 研究员，她在高中时就开始使用 Answer.AI（她也有一篇第一作者论文被 NeurIPS 接受）！

Sarah 与我们合作的第一个项目是WebGPU Puzzles ，这是我所知道的当今开始了解 GPU 编程基础知识的最佳方法。有了它，您可以直接在浏览器中开始学习 GPU 编程。我很惊讶 Sarah 如何能够在几周内从头开始学习 GPU 编程、WebGPU 和 gpu.cpp，并达到她能够成功的水平。

我请莎拉分享一些她的故事，她在下面的帖子中分享了这些故事。她还很友善地花了一些时间接受我的采访，我相信您会同意这是对一个非常特别的人的生活的有趣洞察。

嘿！我的名字是 Sarah Pan，您可能已经在WebGPU Puzzles项目中看到了我的名字（基于 Answer.AI 的gpu.cpp ）。简单介绍一下我：我是 Answer.AI 的研究员，也是麻省理工学院的一年级学生！这意味着，在课堂和麻省理工学院所有其他有趣的混乱之外，我与 Answer.AI 团队合作开展各种项目以及我自己的研究。

起源故事

你可能想知道我是怎么来到这里的。 （有时，我也这样做。）但是，当我的哥哥向我介绍fast.ai时，我的AI 之旅就在中学快结束时开始了。当时，R2D2 作为我最喜欢的星球大战角色足以促使我参加这门课程。

实用深度学习采用自上而下的方法来教授神经网络。这意味着重要的高层想法并没有受到实质内容的限制。无需上过代数一以上的数学课，更不用说拥有大学学位，就能理解复杂系统的内部运作，这真是令人耳目一新。

快进到高中三年级——我有了更多的人工智能经验，并准备好接受更多。我加入了MIT Primes ，这是一个将高中生与数学、计算机科学和计算生物学研究人员联系起来的研究项目。在那里，我的导师 Vlad Lialin 向我展示了从有效阅读学术论文到采用“快速迭代”精神的各个方面的秘诀。

我们一起致力于这个项目，该项目将成为我的第一个出版物。我不想让你厌烦这些细节，但我们本质上在强化学习中使用了过程奖励模型¹来提高法学硕士的推理能力。

虽然一开始这听起来很简单，但很快就被证明是错误的。在很多时候，学习辅助技能对于实现我真正关心的想法至关重要。如果说有什么不同的话，那就是在一个夏天尝试将十亿参数的法学硕士安装到双 3090 上，这让我认识到了良好工程习惯的重要性。但很快，十月就到了，我祈祷能有一篇 NeurIPS 论文。

神经IPS

除了超现实之外，我真的不知道还有什么其他方式可以描述这种经历。海报大厅很大，几乎不知从何而来，有很多和我有相同兴趣的人。我在 Twitter 上看到并在各种博客上读到的所有这些想法都在我面前实现了。

我记得完全是出于偶然²才遇见了 Jeremy，会议结束后我们一直保持着联系。我几乎不知道，我在夏天遇到的那些微小的工程问题会在与他以及后来成为我在 Answer.AI 的导师和合作者的谈话中重新出现。

截至最近

去年夏天，我与 Austin Huang 合作创建了WebGPU Puzzles 。有趣的是，这是我第二次接触 GPU 编程，所以我有点害怕进入它。我对 CUDA 是什么有一个大致的了解，并且在某个时候也偶然发现了 Sasha Rush 的 GPU Puzzles。但很快我就意识到这些经历教给我的想法非常有用。

我欣赏 Sasha 谜题的一件事是，我的主要关注点是解决谜题本身。首先，它们托管在 Google Colab 笔记本中，该笔记本具有适合初学者的界面。在语法方面，CUDA 谜题使用了 Numba，除了 Python 和 NumPy 之外不需要太多知识。这些谜题的可访问性和用户友好性消除了不必要的复杂性，并将并行计算简化为一套基本上无障碍的原则。这样，我就可以专注于更类似于编码挑战的事情，而不是担心 C++ 的所有事情。

我想为那些想要测试 WebGPU/gpu.cpp 的人，甚至那些只是“闯入”GPU 编程的人复制这一点。从那时起，我开始开发 Sasha CUDA 谜题的 WebGPU 版本，并提供一套详细的解决方案，以实现最终的初学者友好性。从那时起，我又回到了我的研究根源——我目前正在研究一个奖励模型项目³ 。

除了研究之外，我还是麻省理工学院数学和计算机科学专业的一年级学生。到目前为止，我最喜欢的课程可能是离散数学（它教得很好！），但遗憾的是没有报名参加更多的数学课程。 ⁴在学校之外，我喜欢在查尔斯河上划船时看日出、阅读 AI Twitter 以及与我的狗进行 Facetime。

原文： https://www.answer.ai/posts/2025-03-17-gpu-programming-scratch.html