机器学习编译组(MLC) 是我目前最喜欢的 AI 研究团队。
在不到两个月的时间里,他们发布了:
- Web Stable Diffusion – 完全在浏览器中运行的完整 Stable Diffusion 图像生成模型,下载 2GB 后,由 WebGPU 提供支持。在此处使用 Chrome Canary 试用。
- Web LLM实现了相同的技巧,但 vicuna-7b-v1 是一个真正有用的 LLaMA 派生的 ChatGPT 风格的大型语言模型!我在Web LLM 中写了更多关于它的内容,它完全在您的浏览器中运行 vicuna-7b 大型语言模型,这非常令人印象深刻。
几天前,他们发布了MLC LLM—— “一种通用解决方案,允许任何语言模型本地部署在各种硬件后端和本地应用程序上”。
作为该版本的一部分,他们提供了一个 iPhone 应用程序的TestFlight 预览,该应用程序在您的手机上本地运行 LLM 模型。它仅用于应用程序就需要 4GB 的 RAM,因此 iPhone 12 Pro 或更高版本应该可以运行。
我一直在手机上运行它。它完全有效!
(这实际上是我能够在手机上运行的第二个 LLM——我之前也尝试过Sheepy-T ,它运行的 GPT-J 显然功能较弱。)
因为我已经在网上写作了 20 多年,所以我经常先尝试自我搜索,看看这堆奇怪的二进制浮点数是否找到了关于我的任何信息。这是我从手机上的 MLC LLM 获得的信息。
你可以感觉到我的手机背面在慢慢计算所有这些令牌时变热了!
老实说,这比我预期的要好得多。我来自英国(但自 2014 年以来一直居住在加利福尼亚州)。我不会称自己为“组织者”,虽然我非常关心可访问性,但我不确定我是否认为自己是一个直言不讳的倡导者,但我过去肯定提倡过网络标准。
但到底是什么“让我们成为熊或兔子”模式?
所以我问:
这是我要声明的定义,它是由我自己和我辛勤工作的 iPhone 共同编写的:
“让我们成为熊或兔子”模式是一种以某种方式看待情况和问题的方式。它是一种以嬉戏和轻松的方式处理问题或情况的方式,同时仍然能够批判性和分析性地思考。
这也是一种拥抱意外并接受新可能性的方式。这种模式通常与面对挑战和困难时“顺其自然”或“量力而行”的概念相关联。它鼓励在面对障碍和困难时保持放松和从容的态度
老实说,我有点喜欢这个。我一直在尝试说“让我们成为熊或兔子吧!”在家里。娜塔莉暗示这可能已经结束了,但我不同意。
原文: http://simonwillison.net/2023/May/1/lets-be-bear-or-bunny/#atom-everything