feat(model,capacity,vision,io): per-persona 路由 + 本地三级(默认关) + L3 分类 + OCR 独立模型 + image-crop 工具(裁决 03.4.1/03.4.3/14.4.1/14.4.4/14.4.5)
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
CI / Frontend (tsc + vite build) (push) Has been cancelled

- 03.4.1:per-persona 路由载体选 models.json(组内新增 personaModels/personaProviders + 校验 + PersonaRoute()),
  Router/RuntimeLLM 快照绑定、loop 流式路径按该 turn 的 persona 路由;主步用路由结果、降级步钉自己的模型
- 03.4.3:本地第三级降级链(LLM_LOCAL_*,Configured() 含 Enabled ⇒ **默认关**),warn 标注来源
- 14.4.4:capacity 接入 L3(分类器接口 + TTL 缓存 + 严格 JSON 解析),CAPACITY_L3_ENABLED **默认 false**
- 14.4.1:语义修正 —— group.multimodal 才是「主模型能否收图」(env 路径不再臆断),LLM_VISION_MODEL 只配视觉工具;
  vision/OCR 可各用不同模型;runtime 不再因有图抢路由(vision.Router 是唯一分层权威)
- 14.4.5:新增 image-crop 工具(工具数 5→6,策略默认 owner-only),schema 支持按区域裁切
- 组合根:wire_runtime 读 group.Multimodal;capacity 装配拆出 wire_capacity.go(守 500 行)
- 复核:`go build`/`go vet`/各包 `go test -count=1` 全绿;**6 条变异反证**先红后还原(含作者自查出的 2 条假阳性变异)
- 未落:按 provider 的 thinking 开关(需 openai_encode.go/openai.go 文件面)、persona awakening(需 loader 文件面)
This commit is contained in:
AskaEth committed 2026-10-04 12:44:52 +08:00
1 parent 63e5b70e3d
commit fa33c79e11
24 files changed
+1941 -122

No files matched your search

+37 -13
View File
@@ -35,11 +35,16 @@ type OCRAdapter interface {
// endpoint(图像作为内容部件内嵌)同时实现 VisionAdapter 与 OCRAdapter。
// 它是开箱可用的默认实现;真实的
// 云端 vision/OCR 提供方暴露相同协议。
//
// 两个方向可以跑在同一个 endpoint 的两个模型上(裁决 14.4.1 的「独立视觉
// 模型 + OCR 模型」):Describe 用 model(LLM_VISION_MODEL),Extract 用
// ocrModel(LLM_OCR_MODEL),未配 OCR 模型时回落到同一个模型。
type OpenAICompatibleAdapter struct {
cfg config.LLMConfig
model string
client *http.Client
log *slog.Logger
cfg config.LLMConfig
model string
ocrModel string
client *http.Client
log *slog.Logger
}
// OpenAIOption 用于定制 OpenAICompatibleAdapter。
@@ -72,6 +77,16 @@ func WithLogger(l *slog.Logger) OpenAIOption {
}
}
// WithOCRModel 覆盖 OCR 方向使用的模型(默认取 cfg.OCRModel,再回落
// 到 model)。
func WithOCRModel(m string) OpenAIOption {
return func(a *OpenAICompatibleAdapter) {
if m != "" {
a.ocrModel = m
}
}
}
// NewOpenAICompatible 用 cfg 构造一个适配器,未覆盖时使用
// cfg.Model。
func NewOpenAICompatible(cfg config.LLMConfig, opts ...OpenAIOption) *OpenAICompatibleAdapter {
@@ -84,6 +99,13 @@ func NewOpenAICompatible(cfg config.LLMConfig, opts ...OpenAIOption) *OpenAIComp
for _, o := range opts {
o(a)
}
if a.ocrModel == "" {
// LLM_OCR_MODEL 未配置时 OCR 与视觉共用同一个模型(向后兼容)。
a.ocrModel = cfg.OCRModel
}
if a.ocrModel == "" {
a.ocrModel = a.model
}
return a
}
@@ -92,20 +114,22 @@ func (a *OpenAICompatibleAdapter) Describe(ctx context.Context, img ImageRef, pr
if prompt == "" {
prompt = "Describe this image in detail."
}
return a.ask(ctx, img, prompt)
return a.ask(ctx, a.model, img, prompt)
}
// Extract 经同一 endpoint 返回图像中发现的文字。
// Extract 经同一 endpoint 返回图像中发现的文字;当配置了独立 OCR 模型
// (LLM_OCR_MODEL / WithOCRModel)时用它,否则与视觉模型相同。
func (a *OpenAICompatibleAdapter) Extract(ctx context.Context, img ImageRef) (string, error) {
return a.ask(ctx, img, "Extract all text visible in this image. Return only the text.")
return a.ask(ctx, a.ocrModel, img, "Extract all text visible in this image. Return only the text.")
}
// ask 解析图像、构造 chat 请求并返回助手文本。
func (a *OpenAICompatibleAdapter) ask(ctx context.Context, img ImageRef, prompt string) (string, error) {
// ask 解析图像、构造 chat 请求并返回助手文本。model 是本次请求使用的模型,
// 让两个方向能在同一 endpoint 上跑不同模型。
func (a *OpenAICompatibleAdapter) ask(ctx context.Context, model string, img ImageRef, prompt string) (string, error) {
if strings.TrimSpace(a.cfg.BaseURL) == "" {
return "", ErrNotConfigured
}
if strings.TrimSpace(a.model) == "" {
if strings.TrimSpace(model) == "" {
return "", ErrNotConfigured
}
if err := ctx.Err(); err != nil {
@@ -115,7 +139,7 @@ func (a *OpenAICompatibleAdapter) ask(ctx context.Context, img ImageRef, prompt
if err != nil {
return "", err
}
payload, err := json.Marshal(a.request(imageURL, prompt))
payload, err := json.Marshal(a.request(model, imageURL, prompt))
if err != nil {
return "", fmt.Errorf("vision: %w: marshal request: %v", ErrUpstream, err)
}
@@ -187,9 +211,9 @@ type openAIResponseMessage struct {
}
// request 构造图像 + prompt 的线上请求体。
func (a *OpenAICompatibleAdapter) request(imageURL, prompt string) openAIVisionRequest {
func (a *OpenAICompatibleAdapter) request(model, imageURL, prompt string) openAIVisionRequest {
return openAIVisionRequest{
Model: a.model,
Model: model,
Messages: []openAIMessage{
{Role: "user", Content: []openAIPart{
{Type: "text", Text: prompt},