缩放定律允许我们精确地预测一些粗略但有用的衡量未来模型的能力的方法，因为我们沿着三个维度扩展它们：它们被提供的数据量、它们的大小（以参数衡量）和数据量。用于训练它们的计算量（以 FLOPs 衡量）。 […] 我们做出这种精确预测的能力在软件史上是不寻常的，甚至在现代人工智能研究史上也是不寻常的。它也是推动投资的强大工具，因为它允许研发团队提出耗资数百万美元的模型训练项目，并有理由相信这些项目将成功产生具有经济价值的系统。
—山姆鲍曼
原文： http://simonwillison.net/2023/Apr/5/sam-bowman/#atom-everything