feat(config,runtime): 上下文预算按模型窗口推导 + usage/缓存可观测 + sidecar 存全文(T1)
- 窗口声明:models.json 组级 contextWindow + env LLM_CONTEXT_WINDOW(per-group materialize 播种,0 不写盘、负数报错)。 - 预算三态:CONTEXT_MAX_TOKENS 未设置 ⇒ 按窗口推导;>0 显式覆盖;0|负 关闭压缩(不变)。推导 budget = min(窗口×比例, 窗口−输出保留),比例默认 2/3(CONTEXT_BUDGET_RATIO,1M ⇒ 699050 tokens ≈ 683Ki);输出保留 = max(32768, 该组 maxTokens) 且封顶窗口/2(防配置矛盾时退化成 1 token);窗口未声明 ⇒ 回落 131072 + 恰好一条 WARN。接线在组合根 wire_context.go(唯一决策点)。 - usage/缓存可观测(此前**完全不可观测**):Response 增 CacheHit/CacheMiss/Reasoning tokens + CacheHitRate;解析 OpenAI 兼容(prompt_cache_hit_tokens/prompt_cache_miss_tokens/cached_tokens/reasoning_tokens)与 anthropic(cache_read_input_tokens/cache_creation_input_tokens)两种形状;记录点在适配器 record(换入口不丢成本日志),日志无凭据;单次输入 ≥预算 90% 记 WARN(不阻断)。 - 根治清单「续读」假承诺:抽取期不再按注入预算截断(sidecar 存全文,只受 MaxSidecarBytes=8 MiB 安全上限,ExtractorVersion v1→v2 旧 sidecar 失效重抽);注入预算改在装配期生效 ⇒ ref.Chars/Truncated 是注入侧事实、游标真是继续读的起点;document-read 的 limit 上限改为独立具名常量。 - 顺手修越界:config.go 505 行(超 500)拆出 llm.go。 - 主会话独立验收:隔离 worktree(HEAD + 本切片 39 文件,排除在途 gateway)build/vet 绿、全树 59 包 0 FAIL、linux+darwin 交叉编译绿;变异独立复现(比例改 0.25 ⇒ 推导用例红 262144 vs 699050)。
This commit is contained in:
1 parent
5b2b385524
commit
72b95df22b
39 files changed
+2496
-377
No files matched your search
@@ -48,11 +48,53 @@ type openAIToolCallDelta struct {
|
||||
Function openAIToolCallFn `json:"function"`
|
||||
}
|
||||
|
||||
// openAIUsage 上报 token 消耗。
|
||||
// openAIUsage 上报 token 消耗。缓存两档(prompt_cache_hit_tokens /
|
||||
// prompt_cache_miss_tokens)由 DeepSeek 上报;OpenAI 兼容家族里另有
|
||||
// prompt_tokens_details.cached_tokens 表达同一件事,两者都解析、缺一个就用
|
||||
// 另一个(见 applyOpenAIUsage)。
|
||||
type openAIUsage struct {
|
||||
PromptTokens int `json:"prompt_tokens"`
|
||||
CompletionTokens int `json:"completion_tokens"`
|
||||
TotalTokens int `json:"total_tokens"`
|
||||
PromptTokens int `json:"prompt_tokens"`
|
||||
CompletionTokens int `json:"completion_tokens"`
|
||||
TotalTokens int `json:"total_tokens"`
|
||||
PromptCacheHitTokens int `json:"prompt_cache_hit_tokens"`
|
||||
PromptCacheMissTokens int `json:"prompt_cache_miss_tokens"`
|
||||
PromptTokensDetails openAIPromptTokenDetails `json:"prompt_tokens_details"`
|
||||
CompletionTokenDetails openAICompletionTokenDetails `json:"completion_tokens_details"`
|
||||
}
|
||||
|
||||
// openAIPromptTokenDetails 是输入侧明细(OpenAI / DashScope 形状)。
|
||||
type openAIPromptTokenDetails struct {
|
||||
// CachedTokens 是命中上下文缓存的 token 数,与 prompt_cache_hit_tokens 同义。
|
||||
CachedTokens int `json:"cached_tokens"`
|
||||
}
|
||||
|
||||
// openAICompletionTokenDetails 是完成侧明细:推理模型把思维链 token 报在这里。
|
||||
type openAICompletionTokenDetails struct {
|
||||
// ReasoningTokens 是思维链 token 数(design/04 附录 A.3 第 4 条要观测它)。
|
||||
ReasoningTokens int `json:"reasoning_tokens"`
|
||||
}
|
||||
|
||||
// applyOpenAIUsage 把一个 usage 对象折进 Response。它容忍任何字段缺失:
|
||||
// 缺失即零值,绝不 panic,也绝不因为用量字段的形态问题影响正文解析。
|
||||
//
|
||||
// 未命中的补齐用的是提供商自己的不变式「prompt_tokens = hit + miss」(见
|
||||
// DeepSeek 文档)—— 只在提供商没给 miss 时才补,免得把命中率算成 100%。
|
||||
func applyOpenAIUsage(out *Response, u *openAIUsage) {
|
||||
if u == nil {
|
||||
return
|
||||
}
|
||||
out.PromptTokens = u.PromptTokens
|
||||
out.CompletionTokens = u.CompletionTokens
|
||||
out.TotalTokens = u.TotalTokens
|
||||
out.CacheHitTokens = u.PromptCacheHitTokens
|
||||
if out.CacheHitTokens == 0 {
|
||||
out.CacheHitTokens = u.PromptTokensDetails.CachedTokens
|
||||
}
|
||||
out.CacheMissTokens = u.PromptCacheMissTokens
|
||||
if out.CacheMissTokens == 0 && out.PromptTokens > out.CacheHitTokens {
|
||||
out.CacheMissTokens = out.PromptTokens - out.CacheHitTokens
|
||||
}
|
||||
out.ReasoningTokens = u.CompletionTokenDetails.ReasoningTokens
|
||||
}
|
||||
|
||||
func responseFromWire(wire *openAIChatResponse) Response {
|
||||
@@ -70,10 +112,6 @@ func responseFromWire(wire *openAIChatResponse) Response {
|
||||
out.ToolCalls = append(out.ToolCalls, ToolCall{Name: tc.Function.Name, ID: tc.ID, Args: args})
|
||||
}
|
||||
}
|
||||
if u := wire.Usage; u != nil {
|
||||
out.PromptTokens = u.PromptTokens
|
||||
out.CompletionTokens = u.CompletionTokens
|
||||
out.TotalTokens = u.TotalTokens
|
||||
}
|
||||
applyOpenAIUsage(&out, wire.Usage)
|
||||
return out
|
||||
}
|
||||
Reference in new issue
Block a user