当我们在 2022 年夏天开始开发 NotebookLM 时，我们可以在上下文窗口中容纳大约 1,500 个单词。现在我们最多可以容纳 150万个单词。 （并使用各种其他技巧，有效地适应 2500 万个单词。）我相信，长上下文模型的出现是过去两年中最不受重视的人工智能发展，至少在公众中是这样。它从根本上改变了这些模型在实际应用中的效用。
标签： Gemini 、谷歌、生成人工智能、 notebooklm 、 ai 、 llms
原文： https://simonwillison.net/2024/Nov/21/steven-johnson/#atom-everything