DeepSeek 的 R1 模型因其先进的功能和成本效益而受到广泛关注。在本地运行此模型可能是一种有益的体验,可以提供对尖端人工智能技术的见解。本指南将引导您完成在本地计算机上设置和运行 DeepSeek-R1 模型的过程,涵盖硬件要求、必要工具的安装和客户端使用。
1. DeepSeek-R1型号版本及硬件要求
DeepSeek 提供多个版本的 R1 模型,每个版本都有特定的硬件要求:
型号版本 | 显存要求 | 推荐的 NVIDIA GPU | 推荐的 Apple Silicon RAM |
---|---|---|---|
DeepSeek-R1 | 〜1,342 GB | 多 GPU 设置,例如 NVIDIA A100 80GB x16 | 不适用 |
DeepSeek-R1-Distill-Qwen-1.5B | 〜3.5GB | NVIDIA RTX 3060 12GB 或更高 | 16 GB 或更多 |
DeepSeek-R1-Distill-Qwen-7B | 〜16GB | NVIDIA RTX 4080 16GB 或更高 | 32 GB 或更多 |
DeepSeek-R1-Distill-Llama-8B | 〜18GB | NVIDIA RTX 4080 16GB 或更高 | 32 GB 或更多 |
DeepSeek-R1-Distill-Qwen-14B | 〜8GB | NVIDIA RTX 4080 16GB 或更高 | 32 GB 或更多 |
DeepSeek-R1-Distill-Qwen-32B | 〜18GB | NVIDIA RTX 4090 24GB 或更高 | 64 GB 或更多 |
DeepSeek-R1-Distill-Llama-70B | 〜40GB | 多 GPU 设置,例如 NVIDIA RTX 4090 24GB x2 | 128 GB 或更多 |
2.Ollama安装指南
Ollama 是一款旨在本地运行 AI 模型的工具。以下是在各个平台上安装它的方法:
macOS
-
下载:访问Ollama 下载页面并下载 macOS 版本。
-
安装:打开下载的
.dmg
文件并按照屏幕上的说明安装 Ollama。
视窗
-
下载:转到Ollama 下载页面并下载 Windows 安装程序。
-
安装:运行安装程序并按照提示完成安装。
Linux
- 安装:打开终端并运行以下命令:
curl -fsSL https://ollama.com/install.sh | sh
此命令下载并安装 Ollama。 ( github.com )
- 验证:安装后,通过执行以下命令验证 Ollama 是否正在运行:
ollama -v
这应该显示安装的 Ollama 版本。
3. 运行模型并通过命令行聊天
安装 Ollama 后,您可以运行 DeepSeek-R1 模型并通过命令行与其交互:
- 启动 Ollama :通过运行以下命令启动 Ollama:
ollama serve
- 与模型交互:在新的终端窗口中,使用以下命令启动聊天会话:
ollama run deepseek-r1:8b
此命令启动与 DeepSeek-R1 模型的聊天会话。
4. 客户端使用
a) 启用 Ollama API 访问源
为了允许外部应用程序与Ollama交互,您需要启用API访问源。
请参阅这篇文章:如何为 Ollama 启用 API 跨源
b) 与 LobeHub 等开源客户端交互
LobeHub 是一个可以与 Ollama 交互的开源客户端。您可以在本地计算机或服务器上安装 LobeHub 来与 DeepSeek-R1 等 AI 模型聊天。请遵循安装指南。
设置LobeHub后,您可以在Lobe的AI Service Provider
设置中启用Ollama提供商并开始与DeepSeek-R1模型聊天。
在本地计算机上与 DeepSeek-R1 愉快地聊天!