当食物来源发生变化时,达尔文雀迅速进化。几十年来,什么都没有——然后突然转变。人工智能也遵循同样的模式,并且正在加速发展。
每天早上,我醒来时都会想知道什么突破将推动生态系统向前发展。
上周,是 DeepSeek v2。今天早上,一位Hugging Face 研究员宣布,他可以在最小的模型之一(3B 参数模型)中对过去三个月的重大进展进行推理。
创新的步伐并未停滞。模型性能的 S 曲线增长仍在继续。但更快!
人工智能的第一只鸟以巨大的规模(海量数据集和巨大的变压器架构)翱翔。
他们的孩子进行了专业化,将大型模型划分为更小、更高效的专家混合 (MoE) 架构。
他们的孙子们现在做了一些更了不起的事情:讲述他们的推理、自我纠正和改进自己的反应。
以下是过去两年人工智能发展的粗略时间表:
- GPT-4 在 ELO(整体 AI 基准)中设定了新的性能基准。克劳德3号在366天后超越了它。
- GPT-4 Turbo 设定了下一个高标准,Gemini 1.5 Pro 仅在 11 天后就达到了这一标准。
- GPT-4.0是第一个具有真正深度推理的模型,于2024年9月发布。谷歌的Gemini 2 Deep Reasoning在141天后匹配了它。
- 今年,DeepSeek 仅用了 41 天就实现了同样水平的推理。
我们已经从长达一年的飞跃转变为几周内发生的突破。趋势很明显:压缩进度。曾经需要数年的时间现在需要数月,然后是数周,很快也许只需要几天。
按照这个速度,下一次人工智能革命可能不会在下个季度到来,它可能会在你明天醒来时到来。
谁知道那只鸟会是什么样子?