我的llm-gguf插件的这个新版本 – 添加了对本地托管 GGUF LLM 的支持 – 添加了一个新功能：它现在也支持作为 GGUF 分发的嵌入模型。
这意味着您可以将像令人困惑的小（最小量化为 30.8MB） mxbai-embed-xsmall-v1这样的模型与 LLM 一起使用，如下所示：
llm install llm-gguf llm gguf download-embed-model \ 'https://huggingface.co/mixedbread-ai/mxbai-embed-xsmall-v1/resolve/main/gguf/mxbai-embed-xsmall-v1-q8_0.gguf'
然后嵌入一个字符串：
llm embed -m gguf/mxbai-embed-xsmall-v1-q8_0 -c 'hello'
LLM 文档广泛涵盖了您可以使用此模型执行的操作，例如将 CSV 文件中的每一行/目录中的文件/SQLite 数据库表中的记录嵌入，并对它们运行相似性和语义搜索。
在底层，这利用了llama.cpp周围的llama-cpp-python包装器提供的create_embedding() 方法。
原文： https://simonwillison.net/2024/Nov/21/llm-gguf-embeddings/#atom-everything