Free Dolly：介绍世界上第一个真正开放的 Instruction-Tuned LLM

Databricks 几周前发布了一个名为 Dolly 的大型语言模型。他们刚刚发布了 Dolly 2.0，它更有趣——它是 EleutherAI 的 Pythia 模型的指令调整 12B 参数升级。与最近的其他指令调优模型不同，Databricks 没有使用源自 GPT-3 的训练集——相反，他们招募了 5,000 名员工来帮助组合 15,000 个人工生成的请求/响应对，他们在 Creative Commons Attribution-ShareAlike 下发布了这些请求/响应对执照。该模型本身是从 Hugging Face 下载的 24GB – 我在一个支持 GPU 的小型 Paperspace 实例上缓慢运行它，但希望运行它的优化方式很快就会出现。