在与 GPT-3 相同规模的球场上使用大型语言模型的挑战在于它们很大——真的很大。太大了，无法在家里的一台机器上运行。 Petals 是解决这个问题的一次有趣的尝试：它的工作方式有点像 BitTorrent，因为 Petal 的每个用户都在他们的机器上运行整个语言模型的一个子集，并参与到一个更大的网络中，以在可能有数百个分布式 GPU 上运行推理.我刚刚在 Google Colab 中尝试了它，在下载了 352GB BLOOM-176B 模型的 8GB 子集后，它的工作原理与广告完全一样。
通过@bobek
原文： http://simonwillison.net/2023/Jan/2/petals/#atom-everything