Awni Hannun 提供了有关使用 Apple MLX 库的分布式通信功能在 Mac 集群上运行巨大 DeepSeek R1 或 v3 模型的便捷详细说明。
量化为 4 位的 DeepSeek R1 需要 450GB 的总 RAM，这可以通过三个 192 GB M2 Ultra 的集群来实现（16,797 美元可以购买三个 192GB Apple M2 Ultra Mac Studio，每个 5,599 美元）。
标签：苹果、生成式人工智能、 mlx 、 deepseek 、人工智能、 llms
原文： https://simonwillison.net/2025/Jan/22/mlx-distributed/#atom-everything