为什么 Ollama LLM 在 macOS 上将内存加载到有线内存中

在 macOS 上运行 Ollama 大型语言模型 (LLM) 时，您可能会注意到很大一部分内存被归类为“有线内存”。这是 macOS 内存管理的正常行为，特别是对于像 Ollama 这样的内存密集型应用程序。让我们深入研究一下为什么会发生这种情况。

什么是有线内存？

要了解 Ollama 为什么使用有线内存，我们首先需要了解 macOS 的内存管理系统。 macOS 采用多种类型的内存管理技术，包括：

压缩内存：经过压缩以释放 RAM 的非活动内存。
交换空间： RAM 已满时移动到硬盘驱动器的内存。
有线内存：操作系统指定为保留在物理 RAM 中以提高性能或系统稳定性所必需的内存。

有线内存特指操作系统指定为保留在物理 RAM 中以提高性能或系统稳定性所必需的内存。因此，它不能被压缩或换出到磁盘。操作系统保证物理 RAM 中的有线内存始终可用，以便快速访问。

有线内存的主要特征：

不可分页或可压缩：与压缩内存和交换空间不同，有线内存无法由操作系统回收或移动到磁盘。这可以确保关键系统进程和某些应用程序的性能。
由系统和关键应用程序使用：通常，macOS 内核、设备驱动程序和一些基本系统应用程序使用有线内存。某些应用程序，特别是那些要求高性能和低延迟的应用程序，也可能采用有线内存来提高效率。
驻留在 RAM 中：有线内存始终驻留在物理 RAM 中，并且在使用它的进程终止之前不会释放。

为什么 Ollama LLM 使用有线内存？

Ollama 旨在运行大型语言模型 (LLM)，这些模型是计算密集型的，并且可能是内存密集型的，特别是对于较大的模型。以下是 Ollama 可能在 macOS 上使用大量有线内存的几个原因：

加载模型权重： LLM模型通常由数十亿甚至数万亿个参数（权重）组成。当 Ollama 加载模型时，这些权重需要存储在内存中以便快速推理。为了确保最佳的推理性能，Ollama 可能会将模型权重加载到有线内存中，以防止推理过程中的分页或压缩，从而减少延迟。
性能优化：对于需要快速响应的应用程序（例如，实时对话、快速文本生成），将模型权重等关键数据存储在有线内存中可以显着提高性能。 macOS 可能会自动或允许应用程序请求将某些内存指定为有线内存以优化性能。
内存映射文件： Ollama 可能使用内存映射文件来加载模型。 macOS 对内存映射文件的内存管理有时会导致部分映射文件被归类为有线内存，特别是对于模型权重等频繁访问的数据。内存映射允许程序将文件内容直接映射到进程的地址空间，而无需显式读写文件。
系统内存管理策略： macOS 的内存管理系统根据系统负载和应用程序需求动态调整内存分配。如果系统具有充足的物理 RAM 并且 Ollama 被识别为内存密集型应用程序，macOS 可能允许 Ollama 使用更多有线内存来优化其运行效率。

如何检查有线内存使用情况

您可以使用 macOS 的活动监视器来监视有线内存使用情况：

打开Finder ，导航到“应用程序”文件夹，然后打开“实用程序”文件夹。
启动活动监视器。
单击“内存”选项卡。
在内存信息部分，您将找到有线内存的值，以及各个进程的内存使用情况详细信息。查找ollama serve或ollama run等进程以查看其内存占用量。

高有线内存使用是否有问题？

Ollama 正常：对于像 Ollama 这样的内存密集型应用程序，一些有线内存使用是正常的。
内存压力：如果您的系统物理 RAM 有限且有线内存使用率过高，可能会导致可用内存不足，从而可能影响整体系统性能并导致速度变慢。
检查其他内存指标：除了有线内存之外，监控内存压力、已使用交换和压缩内存等指标也很重要。高内存压力、大量交换使用或高比例的压缩内存可能表明系统存在内存限制。

潜在的优化和缓解策略

选择较小的模型：如果您发现 Ollama 消耗过多的有线内存，请考虑使用参数较少的 LLM 模型。较小的模型通常需要较少的内存。
减少并发请求：如果您的 Ollama 服务处理多个并发请求，则可能会增加内存消耗。减少同时请求的数量可能有助于降低内存使用量。
增加物理 RAM：如果您的 macOS 设备允许，升级物理 RAM 是解决内存瓶颈最直接、最有效的方法。
监控内存使用情况：定期使用活动监视器来跟踪内存使用情况并随时了解系统的资源状态。

结论

综上所述，Ollama LLM 在 macOS 上将内存加载到有线内存中是 macOS 内存管理和 Ollama 性能优化策略共同作用的结果。对于像法学硕士这样的内存密集型应用程序，一定程度的有线内存使用是正常的。您可以通过选择较小的模型、优化 Ollama 配置或增加物理 RAM 来减轻潜在的内存压力。如果您始终遇到内存问题，请仔细检查系统的整体内存使用情况，并根据您的特定需求和硬件配置进行调整。

原文： https://atlassc.net/2025/02/09/why-ollama-llm-loads-memory-into-wired-memory-on-macos