来自 MLC，该团队为我们提供了 Web LLM 和 Web Stable Diffusion。 “MLC LLM 是一种通用解决方案，它允许将任何语言模型本地部署在各种硬件后端和本地应用程序上”。我今天早上从 TestFlight 安装了他们的 iPhone 演示，它确实提供了一个在我的手机上运行的离线 LLM。它的功能相当强大——该应用程序的基础模型是 vicuna-v1-7b，一种 LLaMA 衍生物。
通过@simonw
原文： http://simonwillison.net/2023/Apr/29/mlc-llm/#atom-everything