2024 年 10 月标志着人工智能发展的关键拐点。隐藏在性能数据中的一个微妙的肘部出现了——一个被证明是预言性的数学预兆。
最初只是一个小小的统计异常,后来却呈指数级增长。
从那时起,人工智能性能飙升,达到了新的轨迹、新的斜率——不再是线性的,而是几何的。
按尺寸和类型对模型进行细分揭示了创新来源的显着转变。虽然型号尺寸推动了最初的改进浪潮,并且较小的型号在初秋表现出了希望,但这两个因素都不能完全解释最近的加速。这一突破似乎源于基本的架构进步和培训方法。
按尺寸和类型对模型进行细分,创新的来源很明显。不再是推动最初一波改进的模型尺寸,也不再是初秋较小模型的改进。
它是推理——要求模型阐明其思维过程,考虑替代方案,并最终选择一个。
随着准确性的提高、错误的减少以及进行深入研究的能力(工作持续十五分钟或更长时间),该技术的潜力从未如此明显。
最近,阿尔贝托·罗梅罗(Alberto Romero)提出,人工智能模型性能之间的差异远不如人们使用它们的能力之间的差异重要。一个熟练的人工智能用户——就像任何技术工人一样——可以比新手产生更多的成果。
随着这些模型的不断改进,管理团队跟踪人工智能性能的相对基准可能不再那么重要,而更重要的是培训他们的团队和重新构想他们的工作流程。