Rich Sutton 的人工智能惨痛教训 – 搞英语 → 看世界

今天早上我读了阿尔贝托·罗密欧的文章《Grok 3: Another Win For The Bitter Lesson》。我不清楚这个惨痛的教训到底是什么，所以我点击了 Romeo 之前的文章GPT-4：惨痛的教训的链接，该链接指向了 Rich Sutton 的原创文章《惨痛的教训》。

萨顿在文章开头说道

从 70 年的人工智能研究中可以学到的最大教训是，利用计算的通用方法最终是最有效的，而且效率很高。

足够清楚了，只是你必须进一步阅读才能得到“与什么相比”。我请 Grok 3 阅读这篇文章，并准确地告诉我惨痛的教训是什么。它是这样解释的：

“惨痛教训”的原则是，在人工智能领域，历史上最有效、最持久的进步来自于依赖于利用不断增长的计算能力的方法，而不是依靠人类的聪明才智来制作特定领域的知识或捷径。 ……

并对其摘要进行了以下简洁的总结：

从本质上讲，痛苦的教训是：计算胜过人工智能领域的人工专业化，拥抱这一点，虽然令人谦卑，但却是未来成功的关键。

萨顿用国际象棋、围棋、语音识别和计算机视觉的例子来支持他的论文。

从某种意义上说，这是统计对逻辑的胜利。在其他条件相同的情况下，收集大量数据并进行统计分析（即训练人工智能模型）将击败基于规则的系统。但当然，其他条件往往并不相同。逻辑通常是正确的方法，即使是在解决大问题时也是如此。

当您确实知道发生了什么并且可以写下一组（可能很大）逻辑要求时，通过SAT 求解器和SMT等技术利用这些知识是正确的选择。例如，请参阅 Wayne 关于约束规划的文章。但如果你想构建一切机器，构建想要为所有人提供一切的软件，那么统计就是你的出路。

有时您只有少量的相关数据，但没有 200,000 个 Nvidia H100 GPU。在这种情况下，使用经典统计比使用人工智能要好得多。经典模型更加稳健并且更容易解释。它们也不受仓促制定的人工智能法规的约束。