早在 2022 年 8 月，稳定扩散图像生成模型的公开发布就是一个关键时刻。我写过Stable Diffusion 在当时是多么重要。
人们现在可以在自己的硬件上从文本生成图像！
更重要的是，开发人员可能会弄乱正在发生的事情。
由此产生的创新爆炸至今仍在继续。最近， ControlNet似乎在其功能方面超越了 Stable Diffusion，领先于 Midjourney 和 DALL-E。
在我看来，8 月份的稳定扩散时刻开启了对生成人工智能的全新兴趣浪潮——然后在 11 月底发布的 ChatGPT 将其推向了超速发展。
对于大型语言模型——ChatGPT 本身背后的技术，稳定扩散的时刻现在再次发生。
今天早上，我第一次在自己的个人笔记本电脑上运行了 GPT-3 类语言模型！
人工智能的东西已经很奇怪了。这将变得更加奇怪。
骆驼
有点令人惊讶的是，像 GPT-3 这样的语言模型为 ChatGPT 等工具提供动力，比图像生成模型更大，构建和运行成本也更高。
这些模型中最好的模型大多由 OpenAI 等私人组织构建，并受到严格控制——可通过其 API 和 Web 界面访问，但不会发布供任何人在自己的机器上运行。
这些模型也很大。即使您可以获得 GPT-3 模型，您也无法在商品硬件上运行它——这些东西通常需要多个 A100 级 GPU，每个零售价超过 8,000 美元。
这项技术显然太重要了，不能完全由一小部分公司控制。
在过去的几年里，已经发布了数十种开放的大型语言模型，但就以下方面而言，它们都没有达到我的最佳状态：
- 易于在我自己的硬件上运行
- 大到有用——理想情况下与 GPT-3 的功能相当
- 足够开源，可以对其进行修补
昨天这一切都改变了，这要归功于 Facebook 的LLaMA 模型和 Georgi Gerganov 的llama.cpp的结合。
这是LLaMA 论文的摘要：
我们介绍了 LLaMA，这是一组包含 7B 到 65B 参数的基础语言模型。我们在数万亿个令牌上训练我们的模型，并表明可以仅使用公开可用的数据集来训练最先进的模型，而无需诉诸专有和不可访问的数据集。特别是，LLaMA-13B 在大多数基准测试中都优于 GPT-3 (175B)，而 LLaMA-65B 可与最佳模型 Chinchilla-70B 和 PaLM-540B 竞争。我们将所有模型发布给研究社区。
请务必注意，LLaMA 并非完全“开放”。您必须同意一些严格的条款才能访问该模型。它旨在作为研究预览，不能用于商业目的。
在完全赛博朋克的举动中，在发布后的几天内，有人将此 PR 提交到 LLaMA 存储库，链接到模型文件的非官方 BitTorrent 下载链接！
所以他们现在在野外。您可能无法合法地在其上构建商业产品，但精灵已经从瓶子里出来了。你能听到的那种激烈的打字声是世界各地成千上万的黑客开始深入挖掘并弄清楚当你可以在自己的硬件上运行 GPT-3 类模型时的生活是什么样的。
美洲驼.cpp
如果在个人笔记本电脑上运行它仍然太难，那么 LLaMA 本身并不是很好。
输入Georgi Gerganov 。
Georgi 是保加利亚索非亚的一名开源开发人员（根据他的 GitHub 个人资料）。他之前发布了whisper.cpp ，这是 OpenAI 的 Whisper 自动语音识别模型到 C++ 的端口。该项目使 Whisper 适用于大量新用例。
他刚刚对 LLaMA 做了同样的事情。
Georgi 的llama.cpp项目昨天首次发布。从自述文件：
主要目标是在 MacBook 上使用 4 位量化运行模型。
（4 位量化是一种减小模型大小的技术，因此它们可以在功能较弱的硬件上运行。）
它完全有效！
今晚我用它在我的笔记本电脑上运行 7B LLaMA 模型，然后今天早上升级到 13B 模型——Facebook 声称可以与 GPT-3 竞争的模型。
这是我关于如何做到这一点的详细说明– 我需要的大部分信息已经在 README 中。
当我的笔记本电脑开始向我吐出文字时，我真的有一种感觉，世界即将再次发生变化。
我认为还需要几年时间才能在我拥有的硬件上运行 GPT-3 类模型。我错了：未来已经到来。
这是有史以来最糟糕的事情吗？
我不担心这里的科幻场景。在我的笔记本电脑上运行的语言模型不是要挣脱束缚并接管世界的AGI。
但是有很多非常真实的方式可以利用这项技术来造成伤害。一些：
- 生成垃圾邮件
- 自动浪漫骗局
- 拖钓和仇恨言论
- 假新闻和虚假信息
- 自动激进化（我很担心这个）
更不用说这项技术就像模仿事实信息一样容易编造事实，并且无法区分它们。
在此之前，像 OpenAI 这样的公司在控制人们与这些模型的交互方式方面的能力有限，存在一层薄薄的防御。
现在我们可以在我们自己的硬件上运行这些，甚至那些控件也没有了。
我们如何善用它？
我认为这将对社会产生巨大影响。我的首要任务是努力将这种影响引向积极的方向。
人们很容易陷入愤世嫉俗的陷阱，认为这里根本没有什么好东西，所有生成的 AI 要么是积极有害的，要么是浪费时间。
我个人现在每天出于各种不同的目的使用生成式 AI 工具。他们给了我物质上的生产力提升，但更重要的是，他们在我所从事的项目方面扩大了我的抱负。
就在上周，我用它学习了足够多的 AppleScript，以便在不到一个小时的时间内发布一个新项目！
我将继续探索和分享这项技术的真正积极应用。它不会被发明出来，所以我认为我们的首要任务应该是找出最有建设性的可能方法来使用它。
关注我的工作
我在博客上写的所有内容都会出现在我的 Atom 提要中，而且我有一个非常活跃的 Mastodon 帐户，还有一个 Twitter 帐户 ( @simonw )，我会在其中继续发布指向我写的新内容的链接。
我还在simonw.substack.com上开始了一份时事通讯。我计划每周从我的博客发送所有内容，因此如果电子邮件是您了解最新信息的首选方式，您可以在那里订阅。
我写的更多东西
我的Generative AI 标签包含了所有内容，但这里有一些过去一年的相关亮点：
- 由 GPT-3 编写的数据集教程– 2022 年 5 月 31 日
- 如何使用 GPT-3 语言模型– 2022 年 6 月 5 日
- DALL-E 的第一印象，从文本生成图像– 2022 年 6 月 23 日
- 使用 GPT-3 解释代码的工作原理– 2022 年 7 月 9 日
- 稳定扩散是一件大事– 2022 年 8 月 29 日
- 探索稳定扩散背后的训练数据——2022 年 9 月 5 日
- 针对 GPT-3 的快速注入攻击– 2022 年 9 月 12 日
- 使用 Whisper 和 GitHub 问题/操作对在线视频运行字幕提取的工具– 2022 年 9 月 30 日
- 人工智能施法比喻有害还是有益？ – 2022 年 10 月 5 日
- 一款新的 AI 游戏：给我一些犯罪的想法– 2022 年 12 月 4 日
- AI 辅助学习：使用 ChatGPT、Copilot 和 Advent of Code 学习 Rust – 2022 年 12 月 5 日
- 如何使用 GPT3、嵌入和数据集针对您的文档实施问答– 2023 年 1 月 13 日
- Bing：“除非你先伤害我，否则我不会伤害你” ——2023 年 2 月 15 日
- 我谈到了 Bing，并试图在直播电视上解释语言模型！ – 2023 年 2 月 19 日
- 为及时工程辩护——2023 年 2 月 21 日
- 来自 Bing 的 AI 辅助搜索的想法和印象– 2023 年 2 月 24 日
- Weeknotes：NICAR，并出现在 KQED 论坛上– 2023 年 3 月 7 日
- ChatGPT 无法访问互联网，尽管它看起来确实可以访问互联网– 2023 年 3 月 10 日
原文： http://simonwillison.net/2023/Mar/11/llama/#atom-everything