docs(embedding): EMBEDDING_API_URL 为完整 /v1/embeddings 端点(非 base);示例改 Qwen3-Embedding-0.6B
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
CI / Frontend (tsc + vite build) (push) Has been cancelled

This commit is contained in:
Aska committed 2026-09-06 11:34:41 +08:00
1 parent 6ea5affc8a
commit 7c662511ba
2 files changed
+9 -6

No files matched your search

+3 -2
View File
@@ -74,7 +74,8 @@ go build -ldflags="-s -w" -trimpath -o cyrene ./cmd/cyrene/
`.env` 示例(本地 Ollama / llama.cpp):
```bash
EMBEDDING_API_URL=http://localhost:11434/v1
# EMBEDDING_API_URL 必须是【完整 /embeddings 端点】(不是 base)
EMBEDDING_API_URL=http://localhost:11434/v1/embeddings
EMBEDDING_MODEL=Qwen3-Embedding-0.6B
# EMBEDDING_API_KEY=
```
@@ -82,7 +83,7 @@ EMBEDDING_MODEL=Qwen3-Embedding-0.6B
**llama.cpp 能替代 Ollama 吗?** —— 能,且更省内存。llama.cpp 的 `llama-server`(服务模式)同样暴露 **OpenAI 兼容 `/v1/embeddings`**,用单二进制 + 一个 GGUF:
```bash
./llama-server -m Qwen3-Embedding-0.6B-Q8_0.gguf --embedding -ngl 99 --port 11434
# 然后 EMBEDDING_API_URL=http://localhost:11434/v1 照用(dim=1024;切换前清一次向量表)
# 然后 EMBEDDING_API_URL=http://localhost:11434/v1/embeddings 照用(dim=1024;切换前清一次向量表)
```
- **Ollama**:模型管理方便(`pull`)、开箱即用,但常驻偏重。
- **llama.cpp**:单文件更轻(内存更省,适合资源受限 / 单机部署)、可离线自制 GGUF;但模型要自己下/转(无 registry)。注意:**llama.cpp 只认 GGUF**,`model.safetensors` 是 transformers/HF 用的,不能直接喂 llama.cpp。