12 Commits

Include renames

Author	SHA1	Message	Date
AskaEth	a918819878	feat(channels,voice): IM 各渠道语音消息可被读到（全渠道云端 ASR + 临时熔断） ... 采集面：mediafetch 新增 inline_voice.go（音频白名单，与 documents.ExtAllowed 互不污染； 复用既有来源白名单 / 逐跳校验 / 边读边限 / 超时）；四个适配器零改动。 消费面：channelbridge 在流水线最前端把「语音字节 → 文本」归一并写回 msg.Content； inbound.go 的丢空判据放宽为「无文本且无可用媒体」。 微信优先平台自带转写（Content 非空 ⇒ 不调 ASR，不重复付费）。 降级（主人定的两层）：新增 voice/outcome.go 的 STTOutcome 识破静默档位； errors.go 分类鉴权失败/欠费/限流（CircuitWorthy）；voice_breaker.go 临时熔断 + 退避（TTL 恢复）； 无论是否熔断，消息面都落一行中文诚实提示（绝不静默、绝不留空消息）。 独立短超时：VOICE_STT_TIMEOUT_SEC（默认 20s，同步 .env.example）。 kook 不再把 CDN 地址写进 Content（地址仍在 Media[].URL）。 设计先行：design/06 §1.1/§1.2、design/08 §4.1、design/24 §1.3/§4.2、开源对照清单。 变异 5 条（静默档位不带 Cause / Transcribed 误判 / 熔断恒放行 / ChatText 退化 / 平台文字判据取反）。 诚实边界：实施时官方音频规格尚未抓到 ⇒ MaxVoiceBytes 自定 5 MiB（保守）、采样率仍 16 kHz； 官方规格随后已抓到（10 MB / 5 min；格式含 amr、无 silk），对齐留待下次改动。	2026-10-05 08:32:37 +08:00
AskaEth	6066165394	test(flake): 清掉最后三条墙钟/条件竞态（mcp 订阅门控 + vision 注入时钟 + voice 兜底期限） ... - #6 capability/mcp TestRegistry_ToolListChangedRefreshes：真因**不是慢，而是条件竞态** —— 本机协商到协议 2026-07-28（SEP-2575）时服务器**只**把 notifications/tools/list_changed 投给已登记 subscriptions/listen 的会话，而客户端订阅是 fire-and-forget（Connect 返回 ≠ 服务器已登记），服务器又在变更后 10ms 发一次、丢了不补 ⇒ 订阅登记晚于那个定时器，该次变更**永远**不生效（旧 waitFor(5s) 只能超时）。修法：显式门控 —— 先等服务器 notifications/subscriptions/acknowledged（服务器先登记再回确认）→ 再触发变更 → 再断言刷新由 tools/list_changed 驱动（既有断言一条未少、另加一条更强的驱动断言）。协议回落旧版时门控自动跳过。 - #7 multimodal/vision TestImageCache_RefetchesAfterTTLWhenContentChanges：真因是把**墙钟当判据**（ttl=20ms 下「TTL 内」成立与否只由调度抖动决定，实测空载≈0、并行负载下 >20ms 会同时打红两条断言）。修法：注入可手动推进的 testClock（生产本就有 cache.now 字段、默认 time.Now，零生产改动），断言一条未少。 - 附带：修掉 G5 批次遗留的第三条墙钟兜底 —— gateway/voice_turn_test.go 的 waitFrame 3s → 15s。**放宽的是兜底期限、不是断言**：它断言的是「帧确实到达」，帧没到照样 Fatal；实测单跑 -count=20 全绿、只在整树并行下偶红（语音回合要过编排器 → 门控假 runner → 假 TTS → 定向回连接）。 - 主会话独立验收：隔离 worktree（F2 三个测试文件）build/vet 绿、两条目标用例各 -count=20 绿；加本条兜底修复后整树连跑 2 次均 59 ok / 0 FAIL（修前那次整树抓到 voice 那条红 → 归因见上）。 - 子代理自报（已核实并清理）：它在加压时用 30 个 yes 做负载、第一次 kill 没杀干净 ⇒ 整机 12 核被占满约 15 分钟（期间所有 go 命令近乎停滞，也解释了本轮测试为何异常慢）；已全部终止（Get-Process yes = 0），此后证据均在干净环境重跑。它同时**如实说明**：在纯加压下没能直接撞出这两条原始 flake（窗口极窄），确定性论证建立在「可控对抗条件复现 + 根因」上。	2026-10-04 21:11:17 +08:00
AskaEth	94b882f4d9	perf(vision): 图片 URL 的「取回 + 内联」按内容哈希 memo（协同 H1：每回合重复付费/取回） ... - 起因（Android 注册的成本项 H1）：`resolveImages` 每回合都跑，而 `inlineImageSrc` 对 `data:` 短路、 对 **URL 每回合重新取回并内联** ⇒ ① 同一张图反复网络 I/O；② 来源一旦失效则该回合解析失败， 而 loop 保留原消息不中断回合 ⇒ **模型这轮静默看不到图** - 修法：按**内容哈希**记忆「URL → data URI」结果（有界 + 并发安全，独立小文件承载）； **失败不写缓存**（不把坏结果钉住，第二次仍可重试）；命中即不再发起网络请求 - **来源失效不再静默**：取回失败产生可诊断信号（含主机与原因，**不含图片内容/凭据**），回合照旧继续 - 复核：vision 包 build/vet/测试绿（含 `-race`）；断言覆盖「同一 URL 连续解析 → 上游只被取回 1 次且结果逐字节相同」 「内容变化不被旧缓存命中」「失败不写缓存且第二次仍重试」「容量上限生效」，以及既有断言 （非图片 `ErrNotImage` / SSRF 被拒 / 长度预检）不回归；变异反证已还原	2026-10-04 16:32:13 +08:00
AskaEth	e64ea0b156	fix(vision): SSRF 三层守卫 + base64 长度预检（纵深防御，F3/G3 的收尾） ... - SSRF 三层：① 字面主机判定（**链路本地** `169.254.0.0/16`/`fe80::/10`（先 Unmap ⇒ `::ffff:169.254.169.254` 绕不过）+ 云元数据 `100.100.100.200`、`fd00:ec2::/64`）；② 重定向逐跳校验 + 上限 5 跳； ③ **建连前校验解析结果并用校验过的 IP 直连**（防 DNS 重绑，拨号器不再二次解析） - **没打断同源自取**（两条独立证据）：`127.0.0.1:<port>/api/v1/files/<32hex>.png` 端到端取回成功、 私网地址**原样交给底层拨号器**；被拒地址则底层拨号器 0 次调用（无真实连接发出） - 失败文案**不含 URL/查询串签名**；非图片响应仍 `ErrNotImage` 且不泄漏响应体 - base64 路径长度预检（**先于 DecodeString 与 `data:` 短路**，零分配）：口径与网关同值同推导 （`((5MiB+2)/3)*4+64`），超限 `ErrImageTooLarge`、文案只含上限与本次长度 - 复核：vision 包 build/vet/测试绿（15 条新用例）；**4 条变异反证**（守卫整体短路 → 8 条被拒地址全中； 只短路链路本地分支 → 4 红且实测「无守卫时进程真的去连 169.254.169.254」；预检恒 nil → 3 红； 去掉重定向校验仍全绿 ⇒ 证明第三层独立兜住） - 登记：`CHAT_IMAGE_MAX_BYTES` 调大 > 默认时「网关照放、vision 拒」的配置耦合（待单一真源对齐）	2026-10-04 16:24:56 +08:00
AskaEth	983bc49218	fix(vision): 服务端自己取回图片 URL 并内联为 data URI，修自部署下取不到图（F3，优先级「高」） ... - 原缺陷：vision 适配器把 http(s) URL **原样转给上游 provider**，而 upload 返回的是同源局域网地址 ⇒ 云 provider 根本取不到 ⇒ **B1（大图绕开 WS 4096 字节上限）在自部署形态下等于没做** - 修法：① `imageURL` → `localizeRef`：**彻底不再直传 URL**；同源 upload 产物走**本地读取**， 其余 http(s) 由服务端自己取回 → 一律内联为 `data:` URI 再交 provider（OpenAI 与 Anthropic 双协议都能收图） - 顺手修「类型瞎猜」：新增 `vision/mime.go`，**字节嗅探是唯一裁决**——判得出白名单光栅图就用字节结果； 字节是文本（HTML/PROXY 错误页、SVG）→ `ErrNotImage`；判不定但来源明确声明 `image/*` 才采信声明。 错误信息只含类型名，**不含响应体/URL**（不打印图片内容） - 防护：取回复用既有 http/https 白名单 + 50MiB 上限，新增 **30s 取回超时**； 本地读取路径 `localUploadPath` 严格认定 `<host>/api/v1/files/<name>`（无 query/fragment、单段路径）+ 32 位小写十六进制名 + `filepath.Dir` 包含性第二道 ⇒ `../`、`%2e%2e%2f`、反斜杠等编码变体在触碰 FS 前即拒 - 生产接线（主会话补）：`cmd/cyrene/vision.go` 传 `vision.WithUploadsDir(<DataDir>/uploads)` - 复核：build/vet 绿；新增 51 条断言（含 httptest 真取回 → 断言上游收到 data URI 且不含源 URL、 同源 upload 用不可达 host 证明走本地、HTML 谎报 image/png 被字节否决、越界名 19 例）； **3 条变异反证**（恢复 URL 直传 8 红 / 文本静默回退 png 红 / 去掉穿越检查 12 红）均已还原 - 未做（已登记）：历史里 URL 形态图片每轮重新取回（缓解＝持久化时内联/缓存）； Anthropic 只认 png/jpeg/gif/webp 而白名单含 bmp；`fetchURL` 无 IP 过滤（链路本地 169.254.169.254 可达）→ 需收紧	2026-10-04 14:19:28 +08:00
AskaEth	fa33c79e11	feat(model,capacity,vision,io): per-persona 路由 + 本地三级(默认关) + L3 分类 + OCR 独立模型 + image-crop 工具（裁决 03.4.1/03.4.3/14.4.1/14.4.4/14.4.5） ... - 03.4.1：per-persona 路由载体选 models.json（组内新增 personaModels/personaProviders + 校验 + PersonaRoute()）， Router/RuntimeLLM 快照绑定、loop 流式路径按该 turn 的 persona 路由；主步用路由结果、降级步钉自己的模型 - 03.4.3：本地第三级降级链（LLM_LOCAL_*，Configured() 含 Enabled ⇒ **默认关**），warn 标注来源 - 14.4.4：capacity 接入 L3（分类器接口 + TTL 缓存 + 严格 JSON 解析），CAPACITY_L3_ENABLED **默认 false** - 14.4.1：语义修正 —— group.multimodal 才是「主模型能否收图」（env 路径不再臆断），LLM_VISION_MODEL 只配视觉工具； vision/OCR 可各用不同模型；runtime 不再因有图抢路由（vision.Router 是唯一分层权威） - 14.4.5：新增 image-crop 工具（工具数 5→6，策略默认 owner-only），schema 支持按区域裁切 - 组合根：wire_runtime 读 group.Multimodal；capacity 装配拆出 wire_capacity.go（守 500 行） - 复核：`go build`/`go vet`/各包 `go test -count=1` 全绿；**6 条变异反证**先红后还原（含作者自查出的 2 条假阳性变异） - 未落：按 provider 的 thinking 开关（需 openai_encode.go/openai.go 文件面）、persona awakening（需 loader 文件面）	2026-10-04 12:44:52 +08:00
AskaEth	b0fbb8bc0d	docs(comments): 注释中文化 · internal/runtime/multimodal（21 文件，纯替换） ... - 只翻注释/文档字符串，代码零变化：go/scanner 词法流比对 21 文件 token+字面量全等，增删行数 1:1（467/467） - 刻意保留非散文英文：JSON Schema description、工具 Description() 返回值、adapter prompt、API 路径与命令示例、环境变量名 - 逐行确认代码前缀未变，未触碰其他模块	2026-10-04 12:28:16 +08:00
AskaEth	99f222761e	feat(voice): 语音silent降级信号(C2) — provider仅在结果为空时出现 ... - voice/Chain+Service: STTWithProvider/TTSWithProvider(真实档位cloud/local/edge-tts/espeak/silent), 旧方法改薄包装 - gateway: transcribe空文本带{text,provider} / voice_output空音频带provider / speech空音频tts_empty+X-Voice-Provider头 - middleware: CORS Access-Control-Expose-Headers: X-Voice-Provider - 可选接口 voiceProviderReporter(type断言透传), 自定义实现回退silent - 新增测试10个(provider_signal/voice_signal), build/vet/test全绿+交叉编译 - Docs/api-client v0.23 + api-reference CORS 同步	2026-09-08 21:23:12 +08:00
Aska	03d7050e1e	feat(voice): 百炼声音复刻create_voice + TTS instruction情绪驱动(主TTS-昔涟复刻音色)	2026-09-08 06:48:15 +08:00
Aska	73dabb9dde	feat(voice): 阿里百炼 STT/TTS 主链路接通(base64 STT + cosyvoice TTS按voice_id + REST /audio/* + voice_input.deviceId) ... - voice/dashscope.go 新建：DashscopeSTT(qwen-audio-3.0-asr-flash, base64 data URI→text) + DashscopeTTS(cosyvoice 按 voice_id, 取非流式 24h URL 下载字节) - cloud.go newDashboardSTT/TTS 由空 endpoint stub 改为真实百炼 adapter - chain.go gating 从 DashscopeAPIKey!="" 改为 voiceConfigured(cfg); silent 兜底保留 - config.VoiceConfig 扩展 DASHSCOPE_BASE_URL/VOICE_STT_*/VOICE_TTS_* 字段(必填 DASHSCOPE_API_KEY) - gateway: POST /api/v1/audio/{transcribe,speech} (owner+审计+MaxBytesReader); voiceInputRequest 增 deviceId 并透传 runner.Run - 实测: cosyvoice-v3.5-plus+longxiaochun 回 418(引擎拒绝), 改用 cosyvoice-v3-flash+longxiaochun_v3; TTS 你好我是昔涟->106124B wav -> STT 回 你好我是西联, 链返回真实字节/文本 - 单测: dashscope_test/config voice defaults/gateway audio_test; go build/vet/test 全绿 - 声音复刻(响昔涟音色)待公网参考音频; 不做 create_voice	2026-09-08 06:06:02 +08:00
Aska	518bd0a230	feat: admin 端点补齐 + 视觉真推理 + 语音链路 + wire.go 收口（A+B+第3步） ... 批次A admin 端点（原本 404 变 200 真实数据）： - GET /admin/llm：读 s.cfg.LLM 组 openai+anthropic 两 provider（enabled=当前 Provider、multimodal=配 VisionModel），APIKey 不进 wire 零泄露。 - GET /admin/automations：*automations.Service.List()（reminders+event rules+cron schedules，cron 加只读登记）。 - GET /admin/users：cfg.AdminUser + *auth.APIKey.List()（密钥掩码）；无用户存储，恒先返回当前 admin 账号。 - GET /admin/backthink：*backthink.Backthink.List(ctx,50)。均只读、owner/admin RBAC、{data} 信封。 批次B 视觉真推理 + 语音： - rest.go chatRequest 加 Image?；流式 publishChatStream 带 image；userChatMessages 构造 ImageMessage(model.go:71)。 - loop/vision.go：ImageResolver 可注入（MVP 先看图再对话）；run.go Run 开头 resolveImages，无 resolver 透传直交主模型。 - vision/resolver.go：MessageResolver 调 vision.Router.Route——KindMain 保留图片交主模型多模态、KindVisionTool/OCRTool 经 dispatcher.Invoke 折叠成 [图片内容] 文本、KindUnsupported 记日志保留原图不崩。 - gateway/voice.go：VoiceService 接口 + SetVoice 注入点 + handleVoiceInput（未注入回 error 不崩）+ runVoiceTurn 异步 STT→loop chat→TTS→定向 voice_output 帧。 - ws_hub/ws_route：voice_input 接 handleVoiceInput；前端 ws.ts decodeBase64/playVoiceAudio/case voice_output。 第3步 wire.go 收口（唯一碰 wire.go 的一步）： - Deps 补传 Automations:a.automation / Backthink:a.backthink / Users:auth.NewAPIKey(a.cfg.Auth)（*auth.APIKey 原生满足 UserStore，避免 admin 重复的复合类型）。 - gw.SetVoice(a.voice)；loop.Options.Vision = vision.NewMessageResolver(router, info, dispatcher.Invoke)（router=NewRouter(WithVisionTool/WithOCRTool)、info=cfg.LLM.VisionModel）。 实机验证：四 admin 端点 200 真实数据（llm 双 provider 脱敏、users=admin,yeij0942,owner）；WS 握手正常。go build/vet/test 全绿 + 前端 tsc。wire.go 557 行。	2026-09-06 18:54:05 +08:00
Aska	0a936a3202	feat(multimodal): 视觉分层路由（多模态检测→主/视觉/OCR 工具）+ 语音 STT→TTS 降级链（异步）	2026-09-06 05:12:36 +08:00