docs(embedding): EMBEDDING_API_URL 为完整 /v1/embeddings 端点(非 base);示例改 Qwen3-Embedding-0.6B
This commit is contained in:
1 parent
6ea5affc8a
commit
7c662511ba
2 files changed
+9
-6
No files matched your search
@@ -74,7 +74,8 @@ go build -ldflags="-s -w" -trimpath -o cyrene ./cmd/cyrene/
|
||||
|
||||
`.env` 示例(本地 Ollama / llama.cpp):
|
||||
```bash
|
||||
EMBEDDING_API_URL=http://localhost:11434/v1
|
||||
# EMBEDDING_API_URL 必须是【完整 /embeddings 端点】(不是 base)
|
||||
EMBEDDING_API_URL=http://localhost:11434/v1/embeddings
|
||||
EMBEDDING_MODEL=Qwen3-Embedding-0.6B
|
||||
# EMBEDDING_API_KEY=
|
||||
```
|
||||
@@ -82,7 +83,7 @@ EMBEDDING_MODEL=Qwen3-Embedding-0.6B
|
||||
**llama.cpp 能替代 Ollama 吗?** —— 能,且更省内存。llama.cpp 的 `llama-server`(服务模式)同样暴露 **OpenAI 兼容 `/v1/embeddings`**,用单二进制 + 一个 GGUF:
|
||||
```bash
|
||||
./llama-server -m Qwen3-Embedding-0.6B-Q8_0.gguf --embedding -ngl 99 --port 11434
|
||||
# 然后 EMBEDDING_API_URL=http://localhost:11434/v1 照用(dim=1024;切换前清一次向量表)
|
||||
# 然后 EMBEDDING_API_URL=http://localhost:11434/v1/embeddings 照用(dim=1024;切换前清一次向量表)
|
||||
```
|
||||
- **Ollama**:模型管理方便(`pull`)、开箱即用,但常驻偏重。
|
||||
- **llama.cpp**:单文件更轻(内存更省,适合资源受限 / 单机部署)、可离线自制 GGUF;但模型要自己下/转(无 registry)。注意:**llama.cpp 只认 GGUF**,`model.safetensors` 是 transformers/HF 用的,不能直接喂 llama.cpp。
|
||||
|
||||
Reference in new issue
Block a user