一位软件工程师在一台已有 20 年历史的 PowerBook G4 上成功运行了 Meta 的 Llama 2 生成式 AI 模型，展示了优化良好的代码如何突破传统硬件的极限。 MacRumors 的 Joe Rossignol 报道：虽然大型语言模型 (LLM) 的硬件要求通常很高，但这款 2005 年推出的特殊 PowerBook G4 型号仅配备了 1.5GHz PowerPC G4 处理器和 1GB RAM。尽管硬件已有 20 年历史，我兄弟还是能够在笔记本电脑上使用 Meta 的 LLM 模型 Llama 2 实现推理。该实验涉及移植开源 llama2.c 项目，然后使用名为 AltiVec 的 PowerPC 矢量扩展来加速性能。他的完整博客文章提供了有关该项目的更多技术细节。
在 Slashdot 上阅读这个故事的更多内容。