因此,我认为每个人(包括 Sam Altman 和 Yann LeCun)都同意,法学硕士不会成功。目前的法学硕士并不是通向 ASI 的途径。它们变得越来越贵,速度越来越慢,而且我们使用它们的次数越多,我们就越意识到它们的局限性。
我们也越来越善于利用它们,它们非常酷而且很有帮助,但它们的表现似乎非常灵活、模糊、压缩搜索引擎,当你有足够的数据时,它们会被压缩到权重中,事实证明这是一个非常强大的操作可供您使用。
[…] 你真正可以看到这里缺少的是这个规划部分,对吧?因此,如果你试图让法学硕士来解决相当简单的图形着色问题或相当简单的堆叠问题,需要回溯和尝试的事情和东西,除非它在训练中非常相似,否则他们只会失败。
[…] 这就是关于 Q* 之类的东西可能是什么的理论,或者只是一般而言,我们如何克服当前的限制?
原文: http://simonwillison.net/2023/Dec/1/jeremy-howard/#atom-everything