供本地使用的 LLM（大型语言模型）通常作为一组权重分布在数 GB 文件中。这些软件不能直接单独使用，这通常使得它们比其他软件更难分发和运行。给定的模型也可能经历了更改和调整，如果使用不同的版本，则会导致不同的结果。
为了帮助解决这个问题，Mozilla 的创新团队发布了llamafile ，这是一种开源方法，可以将一组权重转换为单个二进制文件，可以在六种不同的操作系统（macOS、Windows、Linux、FreeBSD、OpenBSD 和 NetBSD）上运行，而无需安装。这使得分发和运行 LLM 变得更加容易，并确保特定版本的 LLM 永远保持一致和可复制。
如果没有 [Justine Tunney] 的工作，这是不可能实现的，他是Cosmopolitan的创建者，Cosmopolitan 是一个构建一次、随处运行的框架。另一个主要部分是llama.cpp ，我们已经介绍了为什么它在运行自托管 LLM 时如此重要。
有一些使用 Mistral-7B、WizardCoder-Python-13B 和 LLaVA 1.5 LLM 的示例二进制文件。请记住，如果您使用的是 Windows 平台，则只有 LLaVA 1.5 可以运行，因为它是唯一一个在 Windows 可执行文件的 4 GB 限制之下的版本。如果遇到问题，请查看陷阱列表以获取故障排除提示。
原文： https://hackaday.com/2023/12/02/mozilla-lets-folks-turn-ai-llms-into-single-file-executables/