AskaEth/Cyrene_v2
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
461 Commits 7 Branches 0 Tags
eaada3af5df5d762e0aafb71a0f2dbc8a288ff20
Commit Graph
14 Commits
Author SHA1 Message Date
AskaEth be38651ba4 feat(llm): 用量落库 + 只读汇总端点 + 面板用量小卡（契约 v0.64）
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
- model 层新增可选 UsageSink（nil ⇒ 逐字不变，既有用例零改动）
- 组合根注入 UsageWriter：有界队列 1024 + 单写者 + 批量事务（128/批、2s 兜底），
  队列满丢弃 + 限流 WARN，绝不阻塞模型调用；sink 挂 RuntimeLLM（热重载不断）
- 迁移 0017：表 llm_usage（13 列，session_id 可空）+ idx_created_at + idx_session_id
- 新端点 GET /api/v1/admin/llm/usage（owner|admin 读；缺省近 24h、上限 90 天、
  超限 400 不静默裁剪；hitRate = cacheHit/(cacheHit+cacheMiss)，分母 0 ⇒ 0；
  绝不含凭据与正文；未接线/查库失败 ⇒ 500 usage_unavailable）
- LLM_USAGE_RETENTION（默认 720h，≤0 = 关闭清理）：启动清一次 + 每小时
- 面板 LLM 页「用量（近 24h）」小卡 + Docs 两份同步 v0.64
- 已知缺口（如实登记）：session_id 恒 NULL，需 loop 侧在请求上打标，留列后接
 2026-10-04 22:16:26 +08:00
AskaEth c1fa1e9b9a feat(admin): 面板「重置为 env 默认」动作（materialize 的反方向）+ 契约 v0.62
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
- 语义：只把 .env **确实声明过**的键覆盖回 env 值；env 未声明的键（fallback/multimodal/maxTokens/reasoning/personaModels）原样保留；**组集合不增减**（不复活被面板删的组、不删面板新增的组）；无键可改时不写盘。成功即热重载 LLM 栈。返回 {reset:[{group,keys}], skipped:[{group,reason}], path}，**只回键名、不回显凭据值**。

- 护栏：必须 confirm:true（缺失/false/非法 body ⇒ 400，且**先于任何读写**）；**owner-only**（与同页 POST /admin/llm、/admin/llm/test 同门 —— 这是破坏性写，门不比同族更宽）；审计动作 llm.resetFromEnv（camelCase，全仓多词动作的既有约定）。失败路径明确报错（env_defaults_unreadable / models_unreadable / llm_unavailable），不假成功。

- 组合根注入 Deps.EnvPath（网关不 fopen .env）：请求时按既有解析入口重读，语义 =「退回 .env 现在声明的默认值」；.env 层里的 provider 是同义反复，不计入「env 为该组声明了什么」的判定（有专门用例）。

- 前端：LLM 页「重置为 env 默认」卡片（中文二次确认 → 提交 → 按 reset/skipped 渲染 → 成功后重拉配置），标签 owner 专属（与 System.tsx 同款）。

- 契约 v0.62：api-client（权限矩阵改回 12+10+38=60、端点表 9b、重置契约小节、写操作契约、changelog、banner）与 api-reference（端点表 #70、§5.13a 详情含 curl、§8.2/§8.3/§8.4）同步；字段名三方逐字对齐。

- 主会话独立验收：隔离 worktree（R1 的 19 文件）build/vet 绿、gateway+config 三包绿、R1 用例 10 PASS、reset_from_env 残留 0；**变异亲自复现**（去掉 confirm 校验 ⇒ RequiresConfirm 红：status = 200, want 400，且响应体显示面板配置真的被改）。

- 子代理自报并已处理：测试文件触 500 行上限 ⇒ 拆成语义侧 + 护栏侧两份；门改回 owner-only 后前端标签会误导 admin ⇒ 改「owner 专属」并重建 bundle。任务书本身仍是旧口径（owner|admin / snake_case）—— 已由主会话登记修正说明，避免压缩后有人按任务书回退。

- 未做（诚实边界）：不支持按组重置；不纳入 channels.json/plugins.json；不自动重启（contextWindow 的预算推导仍只在启动时算一次）。新端点需下一次 build+restart 才在 :10942 生效。
 2026-10-04 21:33:11 +08:00
AskaEth c4e09afd38 feat(admin): 面板「存储」卡片接真数据（含 PG 增强状态）+ 契约 v0.60
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
- 现状：overviewMetrics.ts:188 的「存储」卡是写死的 value:"SQLite"，后端也没有对应读端点（/admin/system/* 只有 revoke-keys/rotate-jwt/backup/restore 四个动作端点）。

- 新增只读端点 GET /api/v1/admin/system/storage（ownerAuth）：main{kind,path,fileBytes,walBytes,shmBytes,pageSize,pageCount,freelistPages,freeBytes} + documents{count,bytes} + vector{kind,enabled,ready}；只读（SELECT/PRAGMA + os.Stat）、复用活连接不开新池、**绝不含凭据**（只回 kind，不回 host/DSN）、失败一律 500 storage_unavailable（不回全 0 假快照；表缺失也 500 而不是静默 0）。

- vector 真源 = 组合根 app.vectorState()（Configured = DB_PG_URL 非空；Live = 向量索引类型断言成功），零新探测 ⇒ 面板现在能区分「未启用（未配置 DB_PG_URL）/ 启用（pgvector·ready）/ 已配置但未就绪（连接失败，检索降级）」，正好解答主人对「面板只写 SQLite」的困惑。

- 前端：卡片显示真实体积 + WAL/页数/空闲页 + documents 件数与占用 + PG 那一行；取数走与已接线卡片同一条加载/错误态（失败显示 '—' + 端点报错，不静默显示 0）。

- 契约 v0.60（项目红线）：api-client（版本段 + 端点表 + 存储状态契约小节 + changelog）与 api-reference（版本号 + 端点表 + 详情小节）同步；字段名三方（代码/Docs/前端）逐字对齐。

- 主会话独立验收：隔离 worktree（ST1 的 14 文件，排除 B1 在途的 chat_documents.go/documents_pdf_test.go）build/vet 绿、全树 59 包 0 FAIL、存储端点 7 用例 PASS、双平台交叉编译绿。

- ⚠️ 该切片自首一起事故：为通过 cmd/cyrene 类型检查跑了 go build ./cmd/cyrene/（单 main 包）⇒ 覆盖了仓库根 cyrene.exe（49,675,264 B / 19:32:19，脏树未 strip）；上一个权威产物仍在 cyrene.exe~（39,507,968 B / 19:25:13）。运行中的 PID 477964 未受影响；主会话将在整树干净后重跑 ctrl.bat build 恢复权威产物。
 2026-10-04 19:44:53 +08:00
AskaEth 407c934a05 feat(gateway): 文档存储端点 POST/GET /api/v1/documents（design/24 S1） 
- 字节嗅探唯一裁决 + 扩展名白名单 deny-by-default（23 个文本/代码扩展名）；
  客户端 Content-Type 与文件名只作参考、可被否决。
- 内容寻址落盘名 sha256[:32]+ext ⇒ 同字节同扩展名天然去重；首次 201/deduped:false，
  命中 200/同一 name/deduped:true。
- 独立限额 CHAT_DOCUMENT_MAX_BYTES（默认 20 MiB，与图片 5 MiB 刻意解耦）+ MaxBytesReader。
- 读侧 Bearer owner|admin + Content-Disposition: attachment + nosniff（与图片读侧刻意不同）；
  写侧审计 document.upload；错误码 unsupported_media_type/document_too_large/document_not_found。
- 元数据表 documents（0014，含 idx_documents_name 唯一、idx_documents_sha256）；
  guardDocumentPaths 防路径穿越（否则 ServeMux 会 307 泄漏路径）。
- 既有 /api/v1/upload 与 /api/v1/files/{name} 零改动（upload.go 零 diff）。

验收（主会话独立复跑，非自报）：隔离 worktree（HEAD + 本切片）go build/vet 绿、
全树 58 包 0 FAIL、linux/amd64 + darwin/arm64 交叉编译绿、9 条新单测 PASS。
变异独立复现 3 条：白名单加 ".js" ⇒ 415 用例红；嗅探裁决一律放行 ⇒ 谎报类型用例红；
摘掉 guardDocumentPaths ⇒ 穿越用例红（307 重定向，正是那道防护存在的理由）。
 2026-10-04 17:07:20 +08:00
AskaEth decf59c1b4 feat(gateway,admin-web): Skill 运行时安装 + backthink 打扰原因 + 建提醒入口（P0-19/P0-20/P0-22，审计 §4.3）
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
- P0-19：POST /admin/plugins/install 支持 `kind:"skill"`（此前一律 400）——yaml 或 path 二选一、
  name 一致性校验、显式错误码（bad_request/name_mismatch/skill_parse_failed/name_conflict）、
  装后以 kind:"skill" 出现在 GET /admin/plugins；**文件来源解析错误绝不回显文件内容**（变异验证实测确认
  该泄露向量真实存在：yaml 解码器会带出出错值前几字符 ⇒ 只回显路径 + 通用原因，细节进日志）
- P0-20：AdminBackthinkItem 补 route/detail/bypassed（DB 早已存，零迁移），面板 Backthink 展示
- P0-22：新增 POST /admin/automations/reminders（owner-only + 审计），at/message 必填、RFC3339 校验、
  409 already_exists；过去时间不作 400（下次轮询立即触发）
- 顺手修真缺陷：新建 id 原用 time.Now().UnixNano()，Windows 时钟粒度粗到毫秒 ⇒ 并行创建撞 id 得假 409；
  改用 crypto/rand 128 位 hex（仓库既有 skills/store.go 范式）
- 复核：gateway 包 build/vet/测试绿 + 前端 tsc 0 错；新增 12 用例（含 8 条非法输入显式码）；
  **4 条变异反证**均已回滚
- 未做（登记）：WS 帧侧的 route/detail 未在前端展示（`lib/wsParse.ts` 3 行，需放行）；skill 未落
  skills.Store（重启后消失，注入点在 cmd/cyrene）；提醒无删除入口（CancelReminder 已存在、无路由）
 2026-10-04 14:21:41 +08:00
AskaEth a398dc9b92 feat(config,gateway,web): 路径式安全入口 ADMIN_PATH + 数据目录 platform 哨兵（裁决 1.6/16.4.7/12.4.2 + 1.5/12.4.3 核对）
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
- 1.6 + 16.4.7：安全入口＝路径式 `/<ADMIN_PATH>`（env `ADMIN_PATH`，默认 `admin`；`xxx/admin` 亦可，
  非法值回退 `/admin`）。命中前缀 → 送注入了 `<base href="/">` + `window.__CYRENE_ADMIN_ENTRY__` 的面板入口页
  （深链直达）；**形如面板入口但前缀不符 → 404**（不回落用户端聊天壳）；`/api/*`、`/ws`、webhook 先放行
  ⇒ **API 不藏**。前端路由改**路径式**（`router.ts` 只读注入，无硬编兜底；移除 hash 入口）
- 1.5 / 12.4.3 核对：暴露面默认 `0.0.0.0` 与裁决一致，无需改代码（仅补注释）
- 12.4.2：`DATA_DIR` 支持 `platform` 哨兵（大小写不敏感）→ 平台标准目录；默认 `./data` 与显式空值行为不变
  （显式空值保持原兜底，避免正在运行实例突然换库）
- 复核：build/vet 绿 + config/gateway 包测试绿 + linux/darwin 交叉编译绿；新增 7 条用例，
  并用真实构建产物（`webui.Assets()`）跑通「浏览器直开 /admin 能启动面板」（`<base>` 必须在资源引用之前）
- 变异 2 条（关掉错前缀 404 / 前端默认前缀兜底）已还原
- ⚠️ 运行时序：前端已生效而后端 hatch 未生效期间**面板打不开** ⇒ 需紧接一次「build 到位 + restart」
 2026-10-04 14:00:25 +08:00
AskaEth 63e5b70e3d feat(gateway,admin-web): 模型目录自动化 —— GET /admin/llm/catalog（裁决 03.4.2 次件）
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
- 新增 GET /api/v1/admin/llm/catalog（owner|admin，?refresh=1 强制刷新）：抓 models.dev api.json 并裁剪
  （226 供应商 / 8392 模型 → 1.31 MB），写落盘快照 data/llm_catalog.json（无凭据，TTL 24h，gitignore）
- 降级诚实：快照优先 → 在线刷新 → stale 快照兜底（标 stale+warning）→ 都不行回 503 catalog_unavailable，
  绝不编造；抓取只发生在该端点内，**不进运行时热路径**
- 前端：新增 llm/LlmCatalogPanel（在线目录 + 粘贴导入落同一份候选 → 一键带出 baseURL/model id/multimodal/
  maxTokens）；Llm.tsx 挂载面板、删掉硬编码的「主→备→本地」假状态、表单按 id#seq 重挂
- 诚实性：面板把「加载中 / 端点未实现 / 抓取失败或离线 / 响应结构不认识 / 目录为空」分成五种独立状态，
  全程无 mock/sample 回退
- 复核：新增 9 条零外网用例全绿；**变异**（Stale:true→false / TS 只认 camelCase）各自红后已还原；
  Go 真产出与 TS 解析器双向实测 8392 模型能力位零差异
- 越界说明：routes.go 仅 +3 行（注册该路由）；llm/LlmCatalogPanel.tsx 为拆出以守住 Llm.tsx ≤500 行
 2026-10-04 12:43:04 +08:00
AskaEth adef36538f feat(auth,gateway,user): X-API-Key 真接线 + key 一律超管 + owner 档案真落盘（裁决 15.4.2/15.4.3/10.4.5/08.4.2）
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
- 15.4.2：管理 API 与 Bearer 共用同一 Authorize 路径，X-API-Key 命中签发表即过门；未知/已吊销/空值 401 且不回落 Bearer（fail-closed）
- 15.4.3：key 表去掉角色维度，任一有效 key 鉴权后即 owner；签发接口取消 role 分级（不再读请求体）
- 10.4.5：新增 GET/PUT /api/v1/admin/owner-profile（owner-only，PUT 带审计 owner.profile.update），0600 原子落盘 + 活档案热替换；前端主人档案改接真实 API，读不到即禁用保存，删掉硬编码默认档案
- 08.4.2：persona 的 identity.systemPrompt 必填，缺失/空白 400 显式报错，不再派生回落
 2026-10-04 12:07:51 +08:00
AskaEth 074ffc4ebf docs(gateway): gateway 剩余文件注释改中文（逐行 1:1，代码零字节改动）
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
主人 2026-10-03 拍板「注释一律中文」；gateway 至此整包注释中文化完成（本会话共 3 批：
已推库 16 个文件 + 本批剩余文件）。
校验：机械校验（非注释改动行）= 空；剥注释后代码文本逐行比对全等（不一致文件数 0）；
全树 go test ./... 58 包 ok / 0 FAIL；交叉编译绿。
 2026-10-03 22:28:25 +08:00
AskaEth 3f79159fbd feat(auth,gateway): 接线 viewer 只读门 — 12 条监控 GET 对 viewer 开放，敏感档保持 owner/admin
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
背景：auth.go 注释写着 RoleViewer 是只读监控档，但实现从未接线 —— 管理侧 24 个 GET 全是 owner/admin，viewer 全 403。本批把它接上（手机端「全功能管理」的前置之一）。
- routes.go：新增第四道门 viewerAuth = Authorize(owner, admin, viewer)；registerAdminRoutes 传入。**只**把 12 条只读监控 GET 从 writeAuth 换过来：personas / sessions / plugins / plugins-installed / channels / iot / automations / rag / observability{metrics,trace,logs} / notifications；其余 12 条读与 32 条写**一行不动**
- 保持 owner/admin（viewer 403）：memories / llm / users / backthink / audit / sessions-export / channels-messages ×2；owner-only（35 条）含凭据获取（login-qr/login-status）、channels view/friends、全部写操作
- 三处「编码旧策略」的既有测试按**新权限矩阵**改写（不是放宽）：gateway_test 的 /admin/plugins viewer 403→200 且补一条 memories 403；observability_logs 的 ViewerForbidden→ViewerReadsTail；notifications 的 viewer 403→200
- 新增 rbac_viewer_test.go：5 个顶层 / 185 个子测试（12 条×3 角色 200、9+35 条 viewer 403、admin 在读档非 401/403 且在 owner-only 403、56 条匿名 401、写路由 viewer 403）；含 3 次变异验证（含**反向变异**：把 memories 误放开为 viewerAuth 会 FAIL）
- auth.go 的 RoleViewer 注释改为**实际**可见面；Docs/api-client 新增 §2.0 管理侧权限矩阵 + 变更记录 v0.40；顺带修 §0 一处不实陈述（原写「管理端另支持 X-API-Key」→ 标注尚未接线）
- 验收：**隔离 worktree（HEAD + 本片）** go build/vet/test 全绿 + linux/amd64 与 darwin/arm64 交叉编译 + gofmt 干净（主工作树此时被另一代理的在途改动占用，见下条提交）
- 已知遗留（未改前端，按范围只记录）：管理面板未按角色隐藏分区 → viewer 打开 memories/users/llm/审计等页会吃 403（应做能力降级）
 2026-10-03 19:27:25 +08:00
AskaEth 22e8398110 feat(contract,gateway): B4 枚举权威表 — GET /api/v1/meta/enums + 未知值回落约定 
- 新增 internal/contract/enums 叶子包：platform/mood/mode 三表 + UnknownFallback="display-raw"；每次调用返回新切片，无包级可变全局
- GET /api/v1/meta/enums（anyAuth 只读、纯投影、无 store/无错误路径）
- 反漂移 4 处：真构造内置适配器断言 Name() 与表双向相等、真工厂 buildAccountAdapter 逐项可建、mood 对齐 emotion 常量 + 默认转移表、mode 对齐前端 MODES（跨语言，文件缺失则 skip）
- Docs/api-client §1.1 枚举权威表 + 行15 + v0.38；api-reference §3.7 + 行12
 2026-10-03 16:55:22 +08:00
AskaEth e8eccd2bb2 feat(history,gateway): D4 会话未读/已读游标 — unreadCount + POST /sessions/{id}/read + session_read 广播 
- chat_sessions 增 read_at（毫秒，与 chat_messages.created_at 同单位）；迁移 0010 并把既有会话回填为各自最新消息时间（升级当天不误报）
- ListSessions 单查询派生 unreadCount（无 N+1，复用 idx_chat_msgs_session_created 覆盖索引）
- MarkSessionRead 只前进 MAX(read_at, ?)；未知会话 ErrSessionNotFound；游标方法挂在网关消费侧窄接口（沿用 GetMessage/messageLookup 先例，避免污染 runtime 接口与其 fake）
- POST /api/v1/sessions/{id}/read：writeAuth + 400/404/501，成功广播 session_read、失败路径不广播
- Docs/api-client v0.37（§1 unreadCount / 新行 8a / §3.9 session_read / §4.2 用法）
- 含迁移回填测试、store/handler 测试与变异验证；顺带把 migrate_pinned_test 的「回退一步=0009」硬编码改为对迁移数量免疫
 2026-10-03 16:47:55 +08:00
AskaEth 025dd1796b feat(observability): 日志聚合后端 — logger环形缓冲 + GET /admin/observability/logs
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
- internal/logger/ring.go: Entry{time,level,source,msg} + RingBuffer(2000,满覆盖最旧,不阻塞)+ringHandler(slog旁路,Enabled委托内层,sourceOf提取source=再回落Scoped); Options.Ring非nil才包
- gateway/observability_logs.go: GET /admin/observability/logs?level=&limit= (writeAuth owner/admin) → {data:[{time(RFC3339 UTC),level,source,msg}]} 最新在前; level阈值过滤(warn=warn+error,已标注取舍); limit缺省200上限1000; 未知level400/未注入501
- routes.go注册 + observability.go SetLogBuffer(atomic.Pointer) + cmd/cyrene main.go/wireGatewayLogBuffer接线(logger先于gateway)
- 控制台/文件输出零变化; 记录只源自已产出日志,不额外打印敏感
- Docs/api-client v0.35; 测试(ring 10 + observability_logs 8 + cmd端到端2); build/vet/test绿(56)+win/darwin交叉编译
 2026-10-03 15:22:03 +08:00
AskaEth 4ea68d17f3 refactor(gateway+model): 拆 gateway/server.go 719→204 + 重构 scanSSE/processFrom 到 ≤80行 
- server.go 204 + 新 routes.go(193,路由注册/Handler/withMiddleware)/deps.go(108)/contracts.go(231,17依赖接口)/broadcast.go(78,BroadcastPersisted/CapacityAwaken/Mood); 导出面不变; 74条路由pattern+RBAC门逐条比对一致
- model/openai_stream.go: scanSSE 138→25(parse/apply/finalize 对齐 anthropic_stream); openaiStreamState结构体
- channelbridge/inbound.go: processFrom 112→46(blacklistDrop/inboundTargetFor/runInboundTurn/deliverReply)
- 纯行为等价; build/vet/test绿(56包)+win/darwin交叉编译
 2026-09-30 11:58:49 +08:00