AskaEth/Cyrene_v2
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
661 Commits 7 Branches 0 Tags
4df8d6f53aabd1d7b66c19c257a677dc6ebcabbc
Commit Graph
13 Commits
Author SHA1 Message Date
AskaEth 9a3b3cff8b feat(memory): 读侧时效闸（四条列表读路径）+ Add 落 expires_at 列 
主人裁定「临时记忆到期删除 / 任何调用记忆的地方都要正常调用到」的读侧
第 ① 步（隐藏）：design/03 §9.6 / §11.2 的时效闸下沉到共享底层，不写在
任何调用点。

- timegate.go（新）：timeGateClause = (expires_at = '' OR expires_at > ?)
  AND (valid_to = '' OR valid_to > ?)；timeGateNow() 与列值同源（同一个
  formatTime 的定宽 30 字节 UTC 文本），expiryText() 负责写入侧编码。
- Store.ListByPersona / List / ListScope / ListProject 四条列表读路径
  的 WHERE 在既有 status 闸之后拼上时效闸；Retriever.visibleCandidates
  组合前两条，检索入口因此自动继承同一判据（无第二处判据）。
- Store.Get 与整理/审查的内部召回 SQL 刻意不过闸，理由写在各自注释里
  （listTidyPartitionItemsSQL 原位注释在本切片；listReviewCandidatesSQL
  的原位注释按塔裁定改派 M2，timegate.go 头注登记了这条拆分）。
- Store.Add 的 INSERT 补上 expires_at 列（MemoryItem.ExpiresAt）：Add 是
  全仓唯一 INSERT 路径，时效列的真生产者只能在这里，否则闸退化成空壳。
- timegate_test.go（新）：过期/失效行在四条路径与 visibleCandidates 上
  都不可见、空值与未来值可见、Get 仍能读过期行、Add 真的落库该列；
  外加时间口径同源钉（文本序==时间序 + 跨格式 'T' vs ' ' 陷阱实证）。

验收：go build ./internal/runtime/... 通过；go vet 通过；go test
./internal/runtime/memory/... 全绿；internal 全包 62 个 ok / 0 FAIL；
GOOS=darwin GOARCH=arm64 交叉构建通过。
 2026-10-13 19:54:19 +08:00
AskaEth 90f430216a feat(memory): D3 从「异步后置」改成「同步入库闸」—— 由整理层决定入库形态
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
主人 2026-10-07 裁定：「把记忆整理功能接到昔涟和记忆库中间做审查，由整理功能
进行入库」。现状是**异步 + 入库后软合并** ⇒ 行已经落库才审，面板/召回先脏后清，
而写入速率实测 ~25 条/小时（≈600/天）⇒ 清理永远追不上。

落法（三条硬规格，全部落地）：
① **同步闸但有界**：闸在 `store.go:247` 的 `planIngest`（INSERT **之前**），
   本体 `preinsert_gate.go`。墙钟预算 **150ms**（实测最坏 p95 仅 4~7ms ⇒ 20~50 倍
   余量）、候选扫描上限 **100**（比异步侧 200 更紧，因为它在写路径上）。
   🔴 **零远端 embedding**：闸恒用词项余弦（`deps.Embedder` 根本不参与）——
   远端 embedding 一次 2.3~3.0s 且对同文本返回不同向量（不可复现），不许摆在同步
   路径上拍板。
② **fail-open，绝不丢记忆**：候选源报错 ⇒ `gate:candidates_unavailable`；超预算 ⇒
   `gate:budget_exceeded` ⇒ **照常 insert(active) + 投既有队列 + 留痕 + WARN**。
③ **三态落库（落 merged，而不是"不插入"）**：确定性命中（字面重复 / 归一化等价 /
   真包含）⇒ INSERT **直接带 `status='merged'` + `merged_into=<存活行>`**，存活行
   `merged_from` 追加、`merge_count`+1 ⇒ **新行从不进 active、从不建向量索引**，
   而**行与原文都在表里 ⇒ revert 无损**。若"干脆不插"，那条文本从未存在过行，
   revert 无从下手，违反 design/23 §8 的红线。
- **不与异步 D3 重复审**：闸做决定的那条 `Async=false`（留痕由闸自己落，
  审计动作名 `memory.ingest.gate`）；真新/拿不准的走原有队列（留痕仍归异步层）。
- **开关**：`$DATA_DIR/config/memory-tidy.json` 的 `{"ingestGate": false}` ⇒ 一键回到
  「只插不审」（= 改动前的异步行为）。**零新 env 键**（`.env` 未碰）。
- 顺手把 `store.go` 的行映射拆到 `store_rows.go`（守 §10 的 ≤500 行）。

验收（主会话复跑 + 亲自变异）：`go build ./...` + `go vet` 绿；memory 包测试绿；
我用 -overlay 摘掉闸的预算 ⇒ `TestIngestGate_Add墙钟有界` 与
`…failOpen_超预算绝不丢记忆` 变红（"Add 等了 2.0s，越过闸预算 150ms"）。
子代理另做 2 个变异（去掉预算 / 把 fail-open 改成 fail-closed）全红，并实测
**闸开 vs 关的 `Add` 额外墙钟：p50 ≈2.5~3.1ms、p95 ≈4~7ms**（基线批均值 35.8µs）。

⚠️ 未部署（要一次 build + restart）；⚠️ 已知边界（如实）：闸只用词项余弦 ⇒
「同义但字面差得远」拦不住（有意为之，由异步层/夜间整理兜）；闸的候选是**最新
100 条**（更老的重复闸看不到）；**并发同内容双写**仍可能两条都落 active（既有竞态，
SELECT 与 INSERT 不在同一事务，非本次引入，第二层会清）。
 2026-10-07 11:41:44 +08:00
AskaEth 9126d653e5 fix(memory): 读侧过 status 闸 —— 软删行不再被检索、不再进面板
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
整理（tidy）与入库前审查（D3）都只做软动作：status 改 merged/archived，
正文一个字不改、行一行不删。因此只要有一条「能看到什么记忆」的读路径
漏了 status 闸，清理就等于白清 —— 生产库上那 10 条 merged 行就是反例。

- store.go：ListByPersona / List 加 status='active'
- rules.go：ListScope / ListProject 加 status='active'
- Get 刻意不过闸（撤销软合并要先读得到被吸收的行），并在注释里写明
- gateway/admin.go collectMemories 只加注释：口径只有一处，不重复过滤

验证：go build ./... + go vet 绿；memory 包全量测试绿；
新增 status_gate_test.go（4 条读路径逐条断言 + Retriever 端到端
「内容逐字相同的两条，软合并后只召回一条」+ Get 反向护栏）；
用 -overlay 把闸门变异成恒真 ⇒ 5 个读路径用例与检索端到端用例全红。
 2026-10-07 09:48:37 +08:00
AskaEth 6e28b38b08 feat(memory): 护栏抬高+时间预算闸+试算加性异步 与 D3 入库前审查（耦合两片一起落）
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
【MT-A：护栏 + 诚实截断 + 试算异步】
- maxTidyCompareItems 400(写死)→2000 并开放为 MEMORY_TIDY_COMPARE_LIMIT；
  MEMORY_TIDY_CANDIDATE_LIMIT 默认 20→200（语义不变，仍每分区）
- 依据是首跑实测：459 条的分区被 400 截断 ⇒ compared(705) < scanned(784)，
  候选数(77)由上限而不是规则决定；三处上限的 WARN 都补齐了总数/上限/分区名
- 新增「上限 + 时间预算」双闸（实测 2000 条/分区 ≈234s > 3 分钟墙钟）：
  整分区跳过 / 两两比对中途收手，一律如实记 (budget) + WARN
- ?async=1 ⇒ 202 {runId,status}；GET …/{runId} 轮询（writeAuth 同档）；
  done 的 result 与同步 data 逐字节同形；并发=复用既有 runId、TTL 30min 自完成起算、
  重启即如实 404 tidy_run_not_found；不带 async 时同步路径逐字不变

【MT-B：D3 入库前审查（design/23 §15.1）】
- 新记忆经 Store.Add（仓库里唯一 INSERT INTO memory_items）落库后，由独立记忆管理
  会话（sess-memorytidy）在有界后台队列异步判定 skip/merge/modify/create
- 软合并回写（status + merged_into/merged_from/merge_count，可 revert、绝不改 content）
- 隔离来源（群聊/陌生人）**概不审查**、召回/超时失败**零改写**（fail-safe 结构性成立）
- 写入侧仅 +62.7µs/条（非阻塞入队）；默认 ENABLED=true（主人裁定：入库前先审查）

【耦合说明（重要）】两片同包且互相依赖：MT-B 的 preinsert_recall.go 用 MT-A 的
collectTidyPairs 新签名 + tidyBudget ⇒ **各自单独都 build 不过**，故一并落地。
MT-A 为让整包编译，最小幅度适配了 MT-B 的 preinsert_recall.go / preinsert_test.go
（零值预算=行为不变；符号重名改名）。

【我的验收】隔离 worktree（37 文件）build/vet/linux/darwin 全过，切片包全绿；
我亲手打红两个变异：① 去掉 (compare) 截断标记 ⇒ TestTidyCompareLimit_HitIsLoud 红；
② 中和隔离来源守卫 ⇒ TestReviewRestrictedSourceIsNeverTouched 红。
唯一红是 internal/runtime/tool 的两条超时用例（该包无人改）⇒ 主仓库 -count=8 全绿，
判定为负载敏感 flake（当时两个整树验收 + 子代理并发），已记入开发习惯与约定 §7。

.env.example 补 MEMORY_REVIEW_* 四键（MT-B 无该文件权限，由我按其代码语义补写）。
 2026-10-06 08:04:12 +08:00
AskaEth 509dc412eb feat(memory): 记忆 P2（项目索引物化 / decay 回写 / 作用域写规则 / 静默吞点 + loop 级只读红线测试）
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details
2026-10-05 11:47:39 +08:00
AskaEth 91a3209c9b feat(memory): 记忆整理 v1（design/23）——低峰定期扫描 + 事实包含判定 + 规则否决 + 只产建议队列（不自动应用）
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details
2026-10-05 11:29:36 +08:00
AskaEth fbad02899a fix(memory,loop,capacity): 打通记忆链三条空壳（P0-3 / P0-4 / P0-17，审计 §4.3）
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
- P0-3 持久向量索引**不再空壳**：Store.Add 落库后真做 Embed+Add（失败只记日志、绝不让记忆写入失败）；
  NewRetriever 拿到 WithVectorIndex 时**自动接上写入路径**（无需改组合根）；索引无命中 → WARN + **回退内存余弦**；
  新增每进程一次的**回填**（索引确实为空时把已落库条目向量化，分批 64、上限 512）
- P0-4 工作记忆**按会话接线**：回合落定时写入（owner 会话 + 带会话 id 的窗口，LRU 上限 64），
  组装上下文时按会话读取 ⇒ 前导块真的出现；原单窗口 API 语义不变
- P0-17 L4 学习回环**真回写**：新增 capacity.Judge（只跑判定、不施人格覆盖/不发事件/不改状态）；
  loop 在回合落定"只写 owner 会话 + 跳过子代理分支"，写 ScopeUser（L4 的读域）+ 结构化溯源
- 顺带红线加固：意图记录是主人**原话**的机器可读形态 ⇒ **绝不注入群聊/陌生人块**（design/03 §5）
- 复核：三条各自的包 build/vet/test 绿；「真生效」断言含生产构造路径（vector.New + 真实 SQLite 后端 +
  n-gram embedder）、跑完一轮窗口非空、L4 回写后能唤醒一个自身无强信号的表达；
  **5 条变异反证**（其中两条专门打「受限会话零写入」与「群聊不泄露主人原话」）均已还原
- 未做（登记）：Index.Search 无 ID 过滤（客户端按候选集过滤，极端情况走回退）；每条记忆一次 Embed
 2026-10-04 14:20:22 +08:00
AskaEth 61cf80d5ee docs(comments): 注释中文化 · internal/runtime/memory（31 文件，纯替换）
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
- 只翻注释/文档字符串：820 增 / 820 删 严格 1:1；剥掉整行注释与行尾注释尾巴后，
  逐文件与 HEAD 比对「代码部分差异 = 0」；裁决/design 编号计数逐项与 HEAD 一致
- 保留可执行 SQL 样例、SQLite 报错原文、pgvector/HNSW/ANN/BLOB 等技术词原文
- 复核：go build 绿 + memory/projectindex/vector 三包测试绿；gofmt 仅剩 2 个既有未格式化文件（改动前即如此，未顺手修）
 2026-10-04 13:32:54 +08:00
AskaEth 0ce498754a fix(memory,loop): 记忆作用域读写成对 + source_conversation 结构化（裁决 1.9/04.4.2/04.4.3） 
- 04.4.2/1.9 读侧：Retrieve 候选集并集 = 本人 persona 域 ∪ user 共享域 ∪ project 共享域（他角色 persona 域仍排除），群聊/陌生人取受限收窄
- 写侧：群聊/陌生人整段跳过记忆提取（可查不可写），persona 域仅属主可写
- 04.4.3：source_conversation 不再由 LLM 自由生成（prompt 不索要、候选结构不含该键），落库时无条件盖真实 {session_id,message_id}，编解码集中在 memory/source.go
- 新增跨角色种子用例（原用例即使关掉并集也会通过）+ 成对用例「同群聊上下文：读得到共享域、写不进 store」
- 同步 store.go/retrieve.go 文档注释，与 design/03 §3/§4 口径一致
 2026-10-04 12:07:44 +08:00
AskaEth 31086ed1ab fix(memory): 定宽时间戳存储 + rowid 确定性排序 + 遗留数据归一化 
- formatTime 改用固定 30 字节布局(9 位小数秒)，让 TEXT 列的字典序与时间序一致（RFC3339Nano 会去掉尾随零产生变宽字符串，秒内会反序）
- memory_items / project / project_chapter 的 ORDER BY 全部补 rowid 兜底，消除同 tick 打平时的顺序不确定
- 开库时幂等归一化变宽的历史值；无法解析的行原样保留，不阻塞开库
- 回归测试：变宽排序反例、同一时间戳插入序、归一化幂等与跳过
 2026-10-03 16:08:50 +08:00
Aska 04bfa2c7a7 feat(gateway): admin 列表端点接真实数据——persona/session/memory 补 List() 并注入 gateway.Deps
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
根因：gateway.Server 定义 SessionStore/PersonaStore/MemoryStore 接口但生产从未满足：
- 底层 manager 无 List() 方法；
- wireFrontend 的 gateway.Deps{} 未传 Session/Personas/Memories。
→ /api/v1/sessions|personas 与 /api/v1/admin/{sessions,personas,memories} 恒返回 []。

改动：
- persona/registry：Registry.List() []Character（并发安全、值拷贝）。
- channel/session：SessionManager.List(ctx)（查 channel_sessions 表+按 actor_role 重建）。
- runtime/memory：Store.List(ctx)（全表，复用 scanItems）。
- gateway 三 Store 接口改为返回域类型（Character/MemoryItem），映射统一放 collect* 侧。
- cmd/cyrene/wire.go：Deps 补传 Session/Personas/Memories。
- .gitignore：cyrene→/cyrene（锚定根，不再误伤 cmd/cyrene 目录）。

实机验证：/api/v1/admin/personas 返回 {id:cyrene,name:昔涟,isDefault:true}。
 2026-09-06 14:05:34 +08:00
Aska d947ec41a9 feat(memory): M4 记忆完善（三类作用域访问规则+项目索引分层+LLM异步提取+衰减溯源+向量接入，兼容既有57用例） 2026-09-06 06:15:18 +08:00
Aska aa697c385f feat(memory): 长记忆 store（SQLite+persona 隔离）/工作记忆滑动窗口/检索注入/手工提取钩子 2026-09-06 05:12:42 +08:00