AskaEth/Cyrene_v2
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
789 Commits 7 Branches 0 Tags
39ae883a4e14faf37dcc00d57daadb87e77663ba
Commit Graph
21 Commits
Author SHA1 Message Date
AskaEth a5b3d40a74 fix(vision): report only URL origin when an image source is rejected 
fetchURL echoed the whole raw URL (path, query, userinfo) in the
ErrUnsupportedSource message, so a rejected source carrying a signed
query leaked it into logs and tickets. Route the URL exit through
trace.HostOf and fall back to a placeholder instead of the raw string.

Test pins origin-only output and goes red if the fix is reverted.
 2026-10-26 21:52:19 +08:00
AskaEth 969857682f fix(runtime): M52 把 *url.Error 直打的 19 处换成 trace.URLCause 
model / multimodal / tts / embedding 里所有「把 net/http 的 *url.Error 直接打进
错误串」的地方（M51 清单的 B1 组 17 处 + 清单外的同根因 2 处）统一改走
trace.URLCause：错误串只少一段地址，底层原因、哨兵分类、状态码、重试/降级判据
一字不动。

清单内（17）：
- model/openai.go: Chat / ChatStream 的 NewRequest、doRequest
- model/anthropic.go: chatOnce / streamOnce 的 NewRequest、doRequest
- multimodal/vision/adapter.go: ask 的 NewRequest、client.Do
- multimodal/voice/cloud.go: postJSON 的 NewRequest、client.Do
- multimodal/voice/dashscope.go: download（预签名 OSS 地址）与 dashscopePost 各两处
- voice/tts/client.go: unreachable（返回值与同一行日志的 err 字段都只留原因，
  地址只由 redactURL(endpoint) 出现一次）
- embedding/api.go: embedChunk 的 client.Do、newEmbeddingRequest 的 NewRequest

清单外同根因（2，均为 %w 形态，B1 清单按 %v 搜时漏掉）：
- voice/tts/client.go: speak 的 NewRequest 失败
- embedding/endpoint.go: normalizeEndpointURL 的 url.Parse 失败

测试：5 个新文件 18 个用例，逐处可变异打红（实测：把任一处的 URLCause 去掉 ⇒
对应用例红）；dashscope 预签名地址单独一条用例，并另有一条钉住 403 状态码仍在。
 2026-10-26 19:55:05 +08:00
AskaEth fe3872ee28 fix(trace): 令牌守卫上移进 trace.UpstreamError，构造即安全 
M48 复审的中危 finding：error.type 里的散文经 trace.UpstreamError 原样出镜，
因为守卫加在调用方（M46 的 model/voice 两处），构造函数自己不套守卫 ——
任何新调用点默认不安全，httpclient / vision / embedding / weixin 四条出口一直漏。

- trace.UpstreamError 构造时对 error.code / error.type 各走一次 ErrorToken
  （[A-Za-z0-9_.-]{<=64}，不合规即空串）：默认安全，不是可选加固。
- 构造后注入这条窄路收进 UpstreamErrorInfo.SetCode / SetType（同一道守卫），
  供 DashScope 顶层 code 与 Anthropic 流内 error.type 两处使用 —— 调用方不再
  各抄一份 ErrorToken。
- 删除因此冗余的调用方守卫：model.providerUpstreamError 与
  voice.dashscopeOKBodyError。保留 voice 的 request_id 守卫（它不是 code/type，
  构造函数看不见）。
- 四条漏的出口一行没改，只加用例证明守卫上移后自动安全；摘掉构造函数守卫时
  四条用例 + model/voice 旧用例同时变红。
 2026-10-26 19:13:38 +08:00
AskaEth 5c6f4e50a0 refactor(voice): dashscopeErrorToken 收敛到 trace.ErrorToken 
令牌守卫的最后一处副本：删掉 voice 本地的 dashscopeErrorToken 与
maxErrorTokenBytes，四个调用点（classifyDashscopeStatus 的 code / request_id、
dashscopeOKBodyError 的 code / type）改调 trace.ErrorToken。守卫实现与原先逐字
同形（TrimSpace、64 字节上限、字母数字与 _ . -），因此零语义变化。

同时修掉一处过期注释：原 dashscopeErrorToken 的文档指向「runtime/model 的
safeErrorToken」——那个符号在本切片里已被删除，注释指向不存在的符号会把下一个人
送去空目录。现在注释与调用点都指向 trace.ErrorToken。

顺带补一条变异可打红的用例：已有用例只断言「令牌形状的 code 被保留」（去掉守卫
照样通过，半张网），新用例断言 4xx 的 code 是散文时连 `code=` 这个键都不出现，
而 status=400 与 request_id 仍在。

验收：go build ./... + go vet ./... + go test -count=1
./internal/runtime/multimodal/voice/... 全绿；变异（code 改回不过守卫）⇒
TestDashscopeTTS_Non200DropsFreeTextCode 变红。
 2026-10-26 18:48:01 +08:00
AskaEth 4c187ac070 refactor(trace): 把剥 url.Error 壳的实现收敛成 trace.URLCause 
五处逐字同形的三行（mediafetch.sanitizeErr / httpclient.transportCause /
vision.fetchCause / telegram.callCause / weixin_ilink.urlFreeCause）收敛为
trace 包里的唯一实现，13 个调用点改为直接调用；5 份 body 只剩 1 份，5 个
未导出符号与其文件内注释整份删除（不留薄封装）。

行为等价：只剥 *url.Error、不新增包装，内层哨兵链（context 取消/超时、
*net.DNSError 等）原样透传，因此重试/降级/熔断的分类判据不变。两处刻意的
收紧：
- 逐层剥：内层若还是 *url.Error 也一起剥（只剥一层时内层仍带同一段地址）；
- *url.Error 的 Err 为 nil（或链自引用）时不再回落到原串，退化成只含 Op 的
  替身 —— 那种错误无法在不带地址的前提下原样返回，而地址里就是凭据。

顺带把 httpclient 的 user:pass@ 用例改成变异可打红：net/http 自己在
*url.Error 里就把密码打成 ***，「密码不出现」在剥壳与不剥壳下都成立（空跑），
用户名才是分水岭。

验收：go build ./... + go vet ./... + 指定包 go test -count=1 全绿；
变异验证（把 URLCause 改成透传）⇒ 五处「不含 URL」断言全红。
 2026-10-26 18:45:34 +08:00
AskaEth 9e88605cc8 fix(voice): CloneVoice 的 200-with-message 泄漏收口到 dashscopeOKBodyError 
M41 同族的最后一条缺口：HTTP 200 的响应里用顶层 message 报业务失败，而这句话
是上游自由文本 —— create_voice 的 input.url 是参考音频的公开地址（可能是预签名
URL，带凭据），上游报错常把它原样回显。

- ERROR 只留「打到了、但 200 是个业务失败」这个形状事实 + 体积摘要；
  message 原文不进 error，code/type 若真的带回来也只以令牌形态出镜
- errors.Is(err, ErrProviderFailed) 不变（熔断口径不动）
- 用例断言失败仍被识别、且 error 文本里搜不到哨兵正文
 2026-10-26 13:50:10 +08:00
AskaEth 66dda084cd fix(runtime): 上游错误体统一走 trace.UpstreamError，正文不进 error 
M41 的「LLM / embedding / 视觉 上游错误体」一族（M38 #5 #6 #7 #8 #9 #14）：
非 2xx 时把响应体截断后拼进 error，而 error 会被 chat run / loop step /
retrieve_fallback 打日志，等于把她的提问、记忆正文、要念的台词写进日志。

- model：openai/anthropic 两处 upstreamError 收口到 upstream.go 的
  providerUpstreamError；anthropic 流内 error 事件的 evt.Error.Message
  （原本无上限）整段丢弃，只保留令牌形状的 type
- embedding：readErrorBody 删除，改走 helper（input 就是她的记忆正文）
- vision：错误路径不再沿用取图的 50 MiB 上限，改为 4 KiB 有界读且不拼原文
- voice：classifyDashscopeStatus 只解 code/request_id，正文只留在内存里做
  分类判据；错误体读取同样改为 4 KiB 有界
- 测试：五个上游各一条「日志/error 里搜不到哨兵正文」用例，且能变异打红
 2026-10-26 13:44:32 +08:00
AskaEth 789e3af74e fix(multimodal): 视觉工具的空/畸形 data: URI 明确拒绝 + 入参嗅探与可行动报错 
根因（从 checkpoints 取到的那一轮 tool_call 实际 ARGS 逐字节核实）：
模型交给工具的 image 参数是 "data:image/png;base64," —— 只有前缀、
载荷为空（全长 22 字符）。两个加载器早就会剥 data: 前缀，但把空载荷
解码成零字节后照样挂上合法 MIME 放行：
  image-crop → 零字节进 image.Decode ⇒ image: unknown format
  vision     → DataURI("image/png", nil) 发给上游 ⇒ 400 unsupported image
（模型复述不出入参里那条 58583 字符的 data: URI，只抄下了前缀。）

- 新增 checkInlinePayload：data: URI 解码后做内容嗅探（复用既有裁决）
- 空载荷 / 缺 ;base64 段 / 缺逗号 / 非法 base64 ⇒ 明确拒绝
- 报错含「不是图片」+ 嗅到的类型 + 支持格式 + 十六进制物证 + 可行动提示，
  且不回显正文或 base64
- 裸 base64、http(s) URL、工具 schema、安全策略一律未动
- 测试：新增 16 个用例；全树 61 包 ok；4 个变异（含停用嗅探 ⇒ 5 用例红）
 2026-10-07 18:50:45 +08:00
AskaEth e0a6bca501 feat(browser): B3 截图→上下文闭环 + B4 面板声明页（Y4） 
- B3：截图落盘后**自动**并入本轮视图（能收图 ⇒ 真 image 部件挂 user 消息；收不了 ⇒ vision/OCR 文字；
  大图先经 image-crop 裁切；取走即消费、每会话 ≤4 张、TTL 10min、跨会话隔离）
- B4：browser 面板**声明**（配置表单 + 运行状态/指纹自检/最近截图三张只读表 + 拍一张/重新自检）
  + 六个动作走 PLG-2 的通用动作端点（**不开新路由**）+ 保存事务（不可用则回滚 409）+ 热重载
- 读面**不启动浏览器**（计数型假 dialer 证明 0 次拨号）；行数据不含路径/URL/内容
- 3 个变异（短路主路/行与列 key 脱钩/保存不回滚）
⚠️ **两行接线未落**（不在我文件面）：wire_runtime.go 的 TransformContext + wire_frontend.go 的
   wireBrowserPanel —— 落地前 B3/B4 只是「组件就绪」，跑着的后端里不存在（Y4 已写盯梢用例）
 2026-10-06 21:48:50 +08:00
AskaEth a918819878 feat(channels,voice): IM 各渠道语音消息可被读到（全渠道云端 ASR + 临时熔断）
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
采集面：mediafetch 新增 inline_voice.go（音频白名单，与 documents.ExtAllowed 互不污染；
复用既有来源白名单 / 逐跳校验 / 边读边限 / 超时）；四个适配器零改动。
消费面：channelbridge 在流水线最前端把「语音字节 → 文本」归一并写回 msg.Content；
inbound.go 的丢空判据放宽为「无文本且无可用媒体」。
微信优先平台自带转写（Content 非空 ⇒ 不调 ASR，不重复付费）。
降级（主人定的两层）：新增 voice/outcome.go 的 STTOutcome 识破静默档位；
errors.go 分类鉴权失败/欠费/限流（CircuitWorthy）；voice_breaker.go 临时熔断 + 退避（TTL 恢复）；
无论是否熔断，消息面都落一行中文诚实提示（绝不静默、绝不留空消息）。
独立短超时：VOICE_STT_TIMEOUT_SEC（默认 20s，同步 .env.example）。
kook 不再把 CDN 地址写进 Content（地址仍在 Media[].URL）。
设计先行：design/06 §1.1/§1.2、design/08 §4.1、design/24 §1.3/§4.2、开源对照清单。
变异 5 条（静默档位不带 Cause / Transcribed 误判 / 熔断恒放行 / ChatText 退化 / 平台文字判据取反）。
诚实边界：实施时官方音频规格尚未抓到 ⇒ MaxVoiceBytes 自定 5 MiB（保守）、采样率仍 16 kHz；
官方规格随后已抓到（10 MB / 5 min；格式含 amr、无 silk），对齐留待下次改动。
 2026-10-05 08:32:37 +08:00
AskaEth 6066165394 test(flake): 清掉最后三条墙钟/条件竞态（mcp 订阅门控 + vision 注入时钟 + voice 兜底期限）
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
- #6 capability/mcp TestRegistry_ToolListChangedRefreshes：真因**不是慢，而是条件竞态** —— 本机协商到协议 2026-07-28（SEP-2575）时服务器**只**把 notifications/tools/list_changed 投给已登记 subscriptions/listen 的会话，而客户端订阅是 fire-and-forget（Connect 返回 ≠ 服务器已登记），服务器又在变更后 10ms 发一次、丢了不补 ⇒ 订阅登记晚于那个定时器，该次变更**永远**不生效（旧 waitFor(5s) 只能超时）。修法：显式门控 —— 先等服务器 notifications/subscriptions/acknowledged（服务器先登记再回确认）→ 再触发变更 → 再断言刷新由 tools/list_changed 驱动（既有断言一条未少、另加一条更强的驱动断言）。协议回落旧版时门控自动跳过。

- #7 multimodal/vision TestImageCache_RefetchesAfterTTLWhenContentChanges：真因是把**墙钟当判据**（ttl=20ms 下「TTL 内」成立与否只由调度抖动决定，实测空载≈0、并行负载下 >20ms 会同时打红两条断言）。修法：注入可手动推进的 testClock（生产本就有 cache.now 字段、默认 time.Now，零生产改动），断言一条未少。

- 附带：修掉 G5 批次遗留的第三条墙钟兜底 —— gateway/voice_turn_test.go 的 waitFrame 3s → 15s。**放宽的是兜底期限、不是断言**：它断言的是「帧确实到达」，帧没到照样 Fatal；实测单跑 -count=20 全绿、只在整树并行下偶红（语音回合要过编排器 → 门控假 runner → 假 TTS → 定向回连接）。

- 主会话独立验收：隔离 worktree（F2 三个测试文件）build/vet 绿、两条目标用例各 -count=20 绿；加本条兜底修复后整树连跑 2 次均 59 ok / 0 FAIL（修前那次整树抓到 voice 那条红 → 归因见上）。

- 子代理自报（已核实并清理）：它在加压时用 30 个 yes 做负载、第一次 kill 没杀干净 ⇒ 整机 12 核被占满约 15 分钟（期间所有 go 命令近乎停滞，也解释了本轮测试为何异常慢）；已全部终止（Get-Process yes = 0），此后证据均在干净环境重跑。它同时**如实说明**：在纯加压下没能直接撞出这两条原始 flake（窗口极窄），确定性论证建立在「可控对抗条件复现 + 根因」上。
 2026-10-04 21:11:17 +08:00
AskaEth 94b882f4d9 perf(vision): 图片 URL 的「取回 + 内联」按内容哈希 memo（协同 H1：每回合重复付费/取回）
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
- 起因（Android 注册的成本项 H1）：`resolveImages` 每回合都跑，而 `inlineImageSrc` 对 `data:` 短路、
  对 **URL 每回合重新取回并内联** ⇒ ① 同一张图反复网络 I/O；② 来源一旦失效则该回合解析失败，
  而 loop 保留原消息不中断回合 ⇒ **模型这轮静默看不到图**
- 修法：按**内容哈希**记忆「URL → data URI」结果（有界 + 并发安全，独立小文件承载）；
  **失败不写缓存**（不把坏结果钉住，第二次仍可重试）；命中即不再发起网络请求
- **来源失效不再静默**：取回失败产生可诊断信号（含主机与原因，**不含图片内容/凭据**），回合照旧继续
- 复核：vision 包 build/vet/测试绿（含 `-race`）；断言覆盖「同一 URL 连续解析 → 上游只被取回 1 次且结果逐字节相同」
  「内容变化不被旧缓存命中」「失败不写缓存且第二次仍重试」「容量上限生效」，以及既有断言
  （非图片 `ErrNotImage` / SSRF 被拒 / 长度预检）不回归；变异反证已还原
 2026-10-04 16:32:13 +08:00
AskaEth e64ea0b156 fix(vision): SSRF 三层守卫 + base64 长度预检（纵深防御，F3/G3 的收尾）
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
- SSRF 三层：① 字面主机判定（**链路本地** `169.254.0.0/16`/`fe80::/10`（先 Unmap ⇒ `::ffff:169.254.169.254`
  绕不过）+ 云元数据 `100.100.100.200`、`fd00:ec2::/64`）；② 重定向逐跳校验 + 上限 5 跳；
  ③ **建连前校验解析结果并用校验过的 IP 直连**（防 DNS 重绑，拨号器不再二次解析）
- **没打断同源自取**（两条独立证据）：`127.0.0.1:<port>/api/v1/files/<32hex>.png` 端到端取回成功、
  私网地址**原样交给底层拨号器**；被拒地址则底层拨号器 0 次调用（无真实连接发出）
- 失败文案**不含 URL/查询串签名**；非图片响应仍 `ErrNotImage` 且不泄漏响应体
- base64 路径长度预检（**先于 DecodeString 与 `data:` 短路**，零分配）：口径与网关同值同推导
  （`((5MiB+2)/3)*4+64`），超限 `ErrImageTooLarge`、文案只含上限与本次长度
- 复核：vision 包 build/vet/测试绿（15 条新用例）；**4 条变异反证**（守卫整体短路 → 8 条被拒地址全中；
  只短路链路本地分支 → 4 红且实测「无守卫时进程真的去连 169.254.169.254」；预检恒 nil → 3 红；
  去掉重定向校验仍全绿 ⇒ 证明第三层独立兜住）
- 登记：`CHAT_IMAGE_MAX_BYTES` 调大 > 默认时「网关照放、vision 拒」的配置耦合（待单一真源对齐）
 2026-10-04 16:24:56 +08:00
AskaEth 983bc49218 fix(vision): 服务端自己取回图片 URL 并内联为 data URI，修自部署下取不到图（F3，优先级「高」）
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
- 原缺陷：vision 适配器把 http(s) URL **原样转给上游 provider**，而 upload 返回的是同源局域网地址
  ⇒ 云 provider 根本取不到 ⇒ **B1（大图绕开 WS 4096 字节上限）在自部署形态下等于没做**
- 修法：① `imageURL` → `localizeRef`：**彻底不再直传 URL**；同源 upload 产物走**本地读取**，
  其余 http(s) 由服务端自己取回 → 一律内联为 `data:` URI 再交 provider（OpenAI 与 Anthropic 双协议都能收图）
- 顺手修「类型瞎猜」：新增 `vision/mime.go`，**字节嗅探是唯一裁决**——判得出白名单光栅图就用字节结果；
  字节是文本（HTML/PROXY 错误页、SVG）→ `ErrNotImage`；判不定但来源明确声明 `image/*` 才采信声明。
  错误信息只含类型名，**不含响应体/URL**（不打印图片内容）
- 防护：取回复用既有 http/https 白名单 + 50MiB 上限，新增 **30s 取回超时**；
  本地读取路径 `localUploadPath` 严格认定 `<host>/api/v1/files/<name>`（无 query/fragment、单段路径）+
  32 位小写十六进制名 + `filepath.Dir` 包含性第二道 ⇒ `../`、`%2e%2e%2f`、反斜杠等编码变体在触碰 FS 前即拒
- 生产接线（主会话补）：`cmd/cyrene/vision.go` 传 `vision.WithUploadsDir(<DataDir>/uploads)`
- 复核：build/vet 绿；新增 51 条断言（含 httptest 真取回 → 断言上游收到 data URI 且不含源 URL、
  同源 upload 用不可达 host 证明走本地、HTML 谎报 image/png 被字节否决、越界名 19 例）；
  **3 条变异反证**（恢复 URL 直传 8 红 / 文本静默回退 png 红 / 去掉穿越检查 12 红）均已还原
- 未做（已登记）：历史里 URL 形态图片每轮重新取回（缓解＝持久化时内联/缓存）；
  Anthropic 只认 png/jpeg/gif/webp 而白名单含 bmp；`fetchURL` 无 IP 过滤（链路本地 169.254.169.254 可达）→ 需收紧
 2026-10-04 14:19:28 +08:00
AskaEth fa33c79e11 feat(model,capacity,vision,io): per-persona 路由 + 本地三级(默认关) + L3 分类 + OCR 独立模型 + image-crop 工具（裁决 03.4.1/03.4.3/14.4.1/14.4.4/14.4.5）
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
- 03.4.1：per-persona 路由载体选 models.json（组内新增 personaModels/personaProviders + 校验 + PersonaRoute()），
  Router/RuntimeLLM 快照绑定、loop 流式路径按该 turn 的 persona 路由；主步用路由结果、降级步钉自己的模型
- 03.4.3：本地第三级降级链（LLM_LOCAL_*，Configured() 含 Enabled ⇒ **默认关**），warn 标注来源
- 14.4.4：capacity 接入 L3（分类器接口 + TTL 缓存 + 严格 JSON 解析），CAPACITY_L3_ENABLED **默认 false**
- 14.4.1：语义修正 —— group.multimodal 才是「主模型能否收图」（env 路径不再臆断），LLM_VISION_MODEL 只配视觉工具；
  vision/OCR 可各用不同模型；runtime 不再因有图抢路由（vision.Router 是唯一分层权威）
- 14.4.5：新增 image-crop 工具（工具数 5→6，策略默认 owner-only），schema 支持按区域裁切
- 组合根：wire_runtime 读 group.Multimodal；capacity 装配拆出 wire_capacity.go（守 500 行）
- 复核：`go build`/`go vet`/各包 `go test -count=1` 全绿；**6 条变异反证**先红后还原（含作者自查出的 2 条假阳性变异）
- 未落：按 provider 的 thinking 开关（需 openai_encode.go/openai.go 文件面）、persona awakening（需 loader 文件面）
 2026-10-04 12:44:52 +08:00
AskaEth b0fbb8bc0d docs(comments): 注释中文化 · internal/runtime/multimodal（21 文件，纯替换）
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
- 只翻注释/文档字符串，代码零变化：go/scanner 词法流比对 21 文件 token+字面量全等，增删行数 1:1（467/467）
- 刻意保留非散文英文：JSON Schema description、工具 Description() 返回值、adapter prompt、API 路径与命令示例、环境变量名
- 逐行确认代码前缀未变，未触碰其他模块
 2026-10-04 12:28:16 +08:00
AskaEth 99f222761e feat(voice): 语音silent降级信号(C2) — provider仅在结果为空时出现
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
- voice/Chain+Service: STTWithProvider/TTSWithProvider(真实档位cloud/local/edge-tts/espeak/silent), 旧方法改薄包装
- gateway: transcribe空文本带{text,provider} / voice_output空音频带provider / speech空音频tts_empty+X-Voice-Provider头
- middleware: CORS Access-Control-Expose-Headers: X-Voice-Provider
- 可选接口 voiceProviderReporter(type断言透传), 自定义实现回退silent
- 新增测试10个(provider_signal/voice_signal), build/vet/test全绿+交叉编译
- Docs/api-client v0.23 + api-reference CORS 同步
 2026-09-08 21:23:12 +08:00
Aska 03d7050e1e feat(voice): 百炼声音复刻create_voice + TTS instruction情绪驱动(主TTS-昔涟复刻音色)
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details
2026-09-08 06:48:15 +08:00
Aska 73dabb9dde feat(voice): 阿里百炼 STT/TTS 主链路接通(base64 STT + cosyvoice TTS按voice_id + REST /audio/* + voice_input.deviceId)
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
- voice/dashscope.go 新建：DashscopeSTT(qwen-audio-3.0-asr-flash, base64 data URI→text) + DashscopeTTS(cosyvoice 按 voice_id, 取非流式 24h URL 下载字节)
- cloud.go newDashboardSTT/TTS 由空 endpoint stub 改为真实百炼 adapter
- chain.go gating 从 DashscopeAPIKey!="" 改为 voiceConfigured(cfg); silent 兜底保留
- config.VoiceConfig 扩展 DASHSCOPE_BASE_URL/VOICE_STT_*/VOICE_TTS_* 字段(必填 DASHSCOPE_API_KEY)
- gateway: POST /api/v1/audio/{transcribe,speech} (owner+审计+MaxBytesReader); voiceInputRequest 增 deviceId 并透传 runner.Run
- 实测: cosyvoice-v3.5-plus+longxiaochun 回 418(引擎拒绝), 改用 cosyvoice-v3-flash+longxiaochun_v3; TTS 你好我是昔涟->106124B wav -> STT 回 你好我是西联, 链返回真实字节/文本
- 单测: dashscope_test/config voice defaults/gateway audio_test; go build/vet/test 全绿
- 声音复刻(响昔涟音色)待公网参考音频; 不做 create_voice
 2026-09-08 06:06:02 +08:00
Aska 518bd0a230 feat: admin 端点补齐 + 视觉真推理 + 语音链路 + wire.go 收口（A+B+第3步）
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
批次A admin 端点（原本 404 变 200 真实数据）：
- GET /admin/llm：读 s.cfg.LLM 组 openai+anthropic 两 provider（enabled=当前 Provider、multimodal=配 VisionModel），APIKey 不进 wire 零泄露。
- GET /admin/automations：*automations.Service.List()（reminders+event rules+cron schedules，cron 加只读登记）。
- GET /admin/users：cfg.AdminUser + *auth.APIKey.List()（密钥掩码）；无用户存储，恒先返回当前 admin 账号。
- GET /admin/backthink：*backthink.Backthink.List(ctx,50)。均只读、owner/admin RBAC、{data} 信封。

批次B 视觉真推理 + 语音：
- rest.go chatRequest 加 Image?；流式 publishChatStream 带 image；userChatMessages 构造 ImageMessage(model.go:71)。
- loop/vision.go：ImageResolver 可注入（MVP 先看图再对话）；run.go Run 开头 resolveImages，无 resolver 透传直交主模型。
- vision/resolver.go：MessageResolver 调 vision.Router.Route——KindMain 保留图片交主模型多模态、KindVisionTool/OCRTool 经 dispatcher.Invoke 折叠成 [图片内容] 文本、KindUnsupported 记日志保留原图不崩。
- gateway/voice.go：VoiceService 接口 + SetVoice 注入点 + handleVoiceInput（未注入回 error 不崩）+ runVoiceTurn 异步 STT→loop chat→TTS→定向 voice_output 帧。
- ws_hub/ws_route：voice_input 接 handleVoiceInput；前端 ws.ts decodeBase64/playVoiceAudio/case voice_output。

第3步 wire.go 收口（唯一碰 wire.go 的一步）：
- Deps 补传 Automations:a.automation / Backthink:a.backthink / Users:auth.NewAPIKey(a.cfg.Auth)（*auth.APIKey 原生满足 UserStore，避免 admin 重复的复合类型）。
- gw.SetVoice(a.voice)；loop.Options.Vision = vision.NewMessageResolver(router, info, dispatcher.Invoke)（router=NewRouter(WithVisionTool/WithOCRTool)、info=cfg.LLM.VisionModel）。

实机验证：四 admin 端点 200 真实数据（llm 双 provider 脱敏、users=admin,yeij0942,owner）；WS 握手正常。go build/vet/test 全绿 + 前端 tsc。wire.go 557 行。
 2026-09-06 18:54:05 +08:00
Aska 0a936a3202 feat(multimodal): 视觉分层路由（多模态检测→主/视觉/OCR 工具）+ 语音 STT→TTS 降级链（异步） 2026-09-06 05:12:36 +08:00