8 Commits

Include renames

Author	SHA1	Message	Date
AskaEth	cc6904b1b4	feat(memory): retention_tier 档位列 + defer 与档位合并为同一判定（M37） ... 主人 2026-10-26 对「记忆分型」裁定「两列」：kind（关于什么）保留，新增 retention_tier（留多久 / 干什么用）。本片把这条轴从列、判定、写入、读侧过滤 一路打通，并把「判第五态 defer」与「判 retention_tier=temp」合并成一个判定。 结构（迁移 0026 + 自举前滚）： - memory_items 新增 retention_tier TEXT NOT NULL DEFAULT ''（空串 = 尚未分型， 历史行与受限来源行），索引 idx_memory_items_retention_tier；up/down 均实跑过 （在隔离的生产库副本上 migrate → 建 Store → down → 再 up，5073 行零丢失）。 - NewStore 幂等前滚该列 + 建索引（ensureRetentionSchema），与迁移同形由测试钉住。 判定（retention.go，全仓唯一入口）： - RetentionTier 闭集 temp/daily/work/long/knowledge + 空串未分型；与 kind 正交。 - resolveRetention 的优先级：调用方显式档位 > 显式有效期（⇒ temp）> 受限来源 不分型 > 留存规则 N1~N7 ⇒ temp > 默认 long。判据靠元数据，规则不许推翻显式档位。 - tempDeadline 是「档位 → expires_at」的唯一换算：temp ⇔ 有效期非空，两列同一笔 INSERT 落下（M2 登记过的「INSERT 与补写之间的短窗口」就此关闭）。 合并（defer ⇔ temp）： - judgeIngest 不再跑留存规则，只读 Add 落定的 item.RetentionTier；规则调用点因此 全仓唯一（源码级断言钉住）。 - 判定不再依赖同步闸是否开启：闸未接/关着时档位与有效期照样落库。 - 异步层对已是 temp 的行不重复改写（避免 TTL 随审查延迟漂移）。 - IngestRuleVersion d3.3 → d3.4（判据作用范围变了，按既有硬规矩升版）。 读侧： - 四条列表读路径的 SELECT 与 scanItem 读出 retention_tier（14 列）；Get 同样读回。 - 新增 ListByPersonaTiers / ListScopeTiers / ListTiers / ListProjectTiers（可选档位 过滤，缺省不过滤 ⇒ 历史行照常返回；显式传空串只取未分型；非法档位报错）。 原方法签名逐字不变 —— 网关 MemoryStore 接口钉着它们，可变参数会编译不过。 - store.go 的读路径拆到 store_list.go，守 500 行上限。 回归：go build ./... + go vet ./... + go test ./... 全绿（内存包另有 -race）。	2026-10-26 13:09:30 +08:00
AskaEth	a87fbeb494	fix(memory): 面板调优引入的两处运行期写入面收口（-race 修前红 → 修后绿） ... 一、审查档（preinsert.go / preinsert_gate.go）：面板调优会在**运行期**改 cfg 的 两个字段（DisableIngestGate / TempTTL），而读这两个字段的两处不持锁 （gateEnabled 在同步入库闸上、deferDeadline 在第五态 defer 上）。 - 读侧改走新的 tuningSnapshot()（r.mu 由 Mutex 换成 RWMutex，读锁下取整份快照）； - **只**收这两个字段的读点：其余读点读的是构造期冻结的字段，不与写方交手， 故刻意不给入库热路径加无谓的锁；注释写明「将来面板再接管别的字段，那些读点 必须与它一起收」； - 锁序：写方持锁期间只做字段赋值、不取任何别的锁（normalize/回落都在取锁之前 跑完）⇒ 不引入新锁序。 二、整理档（tidy_service_tuning.go）：修掉我自己的那条真竞争 —— 原顺序是 「Stop → Start → 写 cfg」，而新起的循环**立刻**读 s.cfg 重算下一拍，与写入并排 （那一拍还可能按旧配置算出来）。改成「Stop → 写 → Start」。 顺带去掉 Stop 的超时分支：超时意味着 wg 的 Wait 仍在飞，紧接着 Start 的 Add 会 踩上 M3 在 tidy_service.go 明文写下的 WaitGroup 复用纪律（-race 下 panic）；`Stop` 期间也不持 runMu，避免与「心跳正要开跑一轮」互相等死。 证据（全部逐条跑过再还原，还原用 diff 逐字校验为 0 差异）： - 审查档：撤回读侧修复 ⇒ 2 处 DATA RACE（写 preinsert_tuning.go 的两个字段 × 读 gateEnabled / deferDeadline）；恢复 ⇒ 绿。 - 整理档：把顺序改回「先起后写」⇒ DATA RACE（写 applyTidyConfig × 读 nextDelay）； 恢复 ⇒ 绿。 - 新增两条只在 -race 下有意义的回归哨兵（tidy_service_tuning_test.go）：审查档真 并发读写；整理档用**真心跳**当读者（不伪造生产不存在的调用方，那个入口在包里 只有心跳 goroutine 会调）。 热路径成本：新增的同步是「一次无竞争 RLock + 整份小结构体快照」，隔离实测约 4ns/次（5e6 次共 22.9ms）；入库闸那条测量用例的批均值在 2.62ms → 2.71~2.81ms 之间波动，落在那条用例自身的运行间噪声里（同一份代码连跑两次，纯写入基线就从 39µs 飘到 60µs）。	2026-10-13 22:11:41 +08:00
AskaEth	21b906ffb0	feat(memory): D3 第五态 defer（入库审查）+ 提取留存规则闸 + 临时 TTL 配置面 ... 主人原话：「收窄提取器，确实要给他一个主动式的记忆留存规则，不能想到什么都 往记忆里写」「.env 只做兜底用 …这些键优先从面板配置上取」「临时记忆到期删除」。 按 design/23 §18（D3 第五态 defer）、§19（到期处置）、design/03 §9.6 （tempTtlSec 默认 7 天 + 坏值口径）、§10（提取留存规则）落地。 - IngestDecision 闭集加第五态 defer：照常 active 落库 + 写短 expires_at 落 临时层（不删行、不改正文，回滚 = 清空该列）；IngestRuleVersion d3.2 → d3.3。 - 落点：ingestGatePlan 增 ExpiresAt + expiresAt()（走 expiryText/formatTime 的 定宽 30 字节 UTC，与读侧时效闸同一套文本口径），由 finishIngest 在 defer 一态 补写 expires_at（INSERT 与补写之间的短暂窗口如实登记，方向 = 宁可多留）。 非 defer 三态一笔都不多写。 - T0 提取留存规则闸（extract_retention.go）：design/03 §10.5 的 N1~N5 纯规则， 接进 judgeIngest 的候选比对之前，命中即 defer + reason=t0_low_value，不进 T1； 两道护栏（显式「记住」/ 持久信号）一票放行，fail-safe 方向 = 宁可多留。 - T1 闭集扩为 merge/modify/keep/defer（同一个 prompt、同一次调用，绝不新增 第二次模型调用）：只有关系判为真新时才问价值；defer 要求 target=0，否则判 非法回落 create（reason=t1_reply_invalid）。 - 提取器提示词加固（design/03 §10.3 B）：正向清单 + 反例清单 + 「允许返回 []」。 - 临时记忆 TTL：代码默认 tempTtlSec = 604800（7 天）；面板 $DATA_DIR/config/memory-tidy.json 的 tempTtlSec 优先（ApplyReviewTuning 逐键 解析，坏值回落默认 + WARN，绝不写进 cfg）。该键在 .env 里没有出处且不新增 （.env 已冻结）⇒ 实际生效链是「面板 > 代码默认」。启动播种同步该键（*int + omitempty，nil 省略、绝不写 null），保证播种文件与生效值逐字一致。 - preinsert_store.go 的 listReviewCandidatesSQL 原位注释：这条内部召回 SQL 刻意不过时效闸的裁定与理由（design/03 §11.2 第 3 条）。 - 测试：defer 落库带短 expires_at（闸 + T1 两条路径）、写入口径与时效闸同源、 TTL 坏值与回落、规则版本 d3.3、整理候选幂等键不含 IngestRuleVersion、 提取规则正例 11 条 / 反例 11 条。 验收：go build ./... + go vet ./... + go test ./... 全绿；windows/darwin 交叉 编译通过（GOOS=darwin GOARCH=arm64 / GOOS=windows GOARCH=amd64）。	2026-10-13 20:22:48 +08:00
AskaEth	a684328b76	feat(memory): T1 加保守全局速率限流（防每天数百到上千次调用失控） ... 主人 2026-10-07 裁定：按最优解加全局限流。 - 新增 t1RateGate（滑动窗口、可注入时钟，~70 行）；默认 120 次 / 60 分钟（现网 700-1000 条新记忆/天 ≈ 25-42/小时， 取 120 留约 3-5 倍余量） - 过闸摆在「t1Enabled + 有灰区候选」两个守卫之后、发请求之前 ⇒ 不调模型就不占额度；放行才记账 - 超限语义与既有失败路径同源：跳过 T1、决定仍是 create、零改写， 只多一个 reason=t1_throttled 进留痕 + ReviewStats.T1Throttled 计数 - 配置键 t1PerWindow / t1WindowSec 放 $DATA_DIR/config/memory-tidy.json （零新 env 键，启动期读一次）；坏配置回落默认 + WARN，不启动失败 - 每窗口只记一条 WARN（超限是预期行为，一天几百条会淹掉真故障） - IngestRuleVersion 仍为 d3.2：判定规则集与解析契约没变，变的只是 额度状态，reason 列已可分辨（升版会有 §17.6 记过的幂等键重复行副作用） 自研而非复用 session.NewRateLimiter 的理由（design/12 §N C.5 自己登记过 这条取舍）：既有件 Allow() 内部写死 time.Now()，没有时钟注入缝， 而本切片必须能注入可控时钟；且复用会把 channel 层概念拖进 memory 包。	2026-10-07 16:25:54 +08:00
AskaEth	1b4d0a552f	feat(memory): T1 灰区模型判定 —— D3 入库前审查补上 LLM 那一半 ... 主人 2026-10-07 裁定「可以做 T1」。此前 D3 只有纯规则 T0，凡灰区（相似但 互不包含）一律保守 create，真机上「同一事实换措辞」类重复结构性治不住 （清完 92 条字面级重复后，active 里含「喵喵七号」的仍有 101 条）。 - 插入点：T0 判定内核只多吐一份结构化 Gray（惰性收集，恒零模型调用）； T1 挂在异步审查层 Review，同步入库闸不碰它 ⇒ 写入路径零模型调用是 **数据流结构**而不是承诺 - 只许回 merge / modify / keep + 一句理由；坏 JSON、非法枚举、编号越界 一律回落 create（绝不猜、绝不挑最近的一条） - 禁产新内容：模型只给「动作 + 候选编号 + 一句理由」，正文一律取自库里 既有的两行 ⇒ T1 结构性地不可能把幻觉写进记忆库 - 不越硬门与红线：灰区已滤掉跨角色/作用域/项目/只读来源与时效/数值/冲突/ 低置信；「规则否决一票否决」不可走样，T1 不提供翻案入口 - 有界：每次审查至多一次调用（灰区打包，上限 8 条），子超时 8s 且不超过 审查总预算；失败只改 reason、决定恒 create、零 UPDATE - 开关 t1Judge（放 $DATA_DIR/config/memory-tidy.json，零新 env 键），默认开； 模型出口用闭包晚绑定既有模型栈（零新客户端、零新依赖） - 留痕 reason 结构化（t1_merge / t1_modify / t1_keep / t1_reply_invalid / t1_unavailable），rule_version d3.1 → d3.2；模型的自由文本理由一律丢弃 - preinsert_config.go 为纯搬移（为守 500 行上限，无新逻辑）	2026-10-07 14:10:33 +08:00
AskaEth	90f430216a	feat(memory): D3 从「异步后置」改成「同步入库闸」—— 由整理层决定入库形态 ... 主人 2026-10-07 裁定：「把记忆整理功能接到昔涟和记忆库中间做审查，由整理功能 进行入库」。现状是**异步 + 入库后软合并** ⇒ 行已经落库才审，面板/召回先脏后清， 而写入速率实测 ~25 条/小时（≈600/天）⇒ 清理永远追不上。 落法（三条硬规格，全部落地）： ① **同步闸但有界**：闸在 `store.go:247` 的 `planIngest`（INSERT **之前**）， 本体 `preinsert_gate.go`。墙钟预算 **150ms**（实测最坏 p95 仅 4~7ms ⇒ 20~50 倍 余量）、候选扫描上限 **100**（比异步侧 200 更紧，因为它在写路径上）。 🔴 **零远端 embedding**：闸恒用词项余弦（`deps.Embedder` 根本不参与）—— 远端 embedding 一次 2.3~3.0s 且对同文本返回不同向量（不可复现），不许摆在同步 路径上拍板。 ② **fail-open，绝不丢记忆**：候选源报错 ⇒ `gate:candidates_unavailable`；超预算 ⇒ `gate:budget_exceeded` ⇒ **照常 insert(active) + 投既有队列 + 留痕 + WARN**。 ③ **三态落库（落 merged，而不是"不插入"）**：确定性命中（字面重复 / 归一化等价 / 真包含）⇒ INSERT **直接带 `status='merged'` + `merged_into=<存活行>`**，存活行 `merged_from` 追加、`merge_count`+1 ⇒ **新行从不进 active、从不建向量索引**， 而**行与原文都在表里 ⇒ revert 无损**。若"干脆不插"，那条文本从未存在过行， revert 无从下手，违反 design/23 §8 的红线。 - **不与异步 D3 重复审**：闸做决定的那条 `Async=false`（留痕由闸自己落， 审计动作名 `memory.ingest.gate`）；真新/拿不准的走原有队列（留痕仍归异步层）。 - **开关**：`$DATA_DIR/config/memory-tidy.json` 的 `{"ingestGate": false}` ⇒ 一键回到 「只插不审」（= 改动前的异步行为）。**零新 env 键**（`.env` 未碰）。 - 顺手把 `store.go` 的行映射拆到 `store_rows.go`（守 §10 的 ≤500 行）。 验收（主会话复跑 + 亲自变异）：`go build ./...` + `go vet` 绿；memory 包测试绿； 我用 -overlay 摘掉闸的预算 ⇒ `TestIngestGate_Add墙钟有界` 与 `…failOpen_超预算绝不丢记忆` 变红（"Add 等了 2.0s，越过闸预算 150ms"）。 子代理另做 2 个变异（去掉预算 / 把 fail-open 改成 fail-closed）全红，并实测 **闸开 vs 关的 `Add` 额外墙钟：p50 ≈2.5~3.1ms、p95 ≈4~7ms**（基线批均值 35.8µs）。 ⚠️ 未部署（要一次 build + restart）；⚠️ 已知边界（如实）：闸只用词项余弦 ⇒ 「同义但字面差得远」拦不住（有意为之，由异步层/夜间整理兜）；闸的候选是**最新 100 条**（更老的重复闸看不到）；**并发同内容双写**仍可能两条都落 active（既有竞态， SELECT 与 INSERT 不在同一事务，非本次引入，第二层会清）。	2026-10-07 11:41:44 +08:00
AskaEth	ffe2518bf4	feat(memory): 留痕表正式迁移 0025 + 保留期清扫（W5） ... - 迁移 0025_memory_ingest_reviews（幂等，既有部署重跑不炸/不丢行） - GC：保留期 720h + 条数上限 10 万行，挂进审查服务生命周期（Start 起 / Stop 停 / 启动先扫） - 过期即硬删（RevertMerged 只读 memory_items，删留痕不损失回滚能力） - 偏离一处并给理由：表只留 created_at（先例 0017；append-only；加 updated_at 需三份 DDL 真源） - 3 个变异自检（边界 <=/元组比较方向/Retention=0）	2026-10-06 15:59:16 +08:00
AskaEth	6e28b38b08	feat(memory): 护栏抬高+时间预算闸+试算加性异步 与 D3 入库前审查（耦合两片一起落） ... 【MT-A：护栏 + 诚实截断 + 试算异步】 - maxTidyCompareItems 400(写死)→2000 并开放为 MEMORY_TIDY_COMPARE_LIMIT； MEMORY_TIDY_CANDIDATE_LIMIT 默认 20→200（语义不变，仍每分区） - 依据是首跑实测：459 条的分区被 400 截断 ⇒ compared(705) < scanned(784)， 候选数(77)由上限而不是规则决定；三处上限的 WARN 都补齐了总数/上限/分区名 - 新增「上限 + 时间预算」双闸（实测 2000 条/分区 ≈234s > 3 分钟墙钟）： 整分区跳过 / 两两比对中途收手，一律如实记 (budget) + WARN - ?async=1 ⇒ 202 {runId,status}；GET …/{runId} 轮询（writeAuth 同档）； done 的 result 与同步 data 逐字节同形；并发=复用既有 runId、TTL 30min 自完成起算、 重启即如实 404 tidy_run_not_found；不带 async 时同步路径逐字不变 【MT-B：D3 入库前审查（design/23 §15.1）】 - 新记忆经 Store.Add（仓库里唯一 INSERT INTO memory_items）落库后，由独立记忆管理 会话（sess-memorytidy）在有界后台队列异步判定 skip/merge/modify/create - 软合并回写（status + merged_into/merged_from/merge_count，可 revert、绝不改 content） - 隔离来源（群聊/陌生人）**概不审查**、召回/超时失败**零改写**（fail-safe 结构性成立） - 写入侧仅 +62.7µs/条（非阻塞入队）；默认 ENABLED=true（主人裁定：入库前先审查） 【耦合说明（重要）】两片同包且互相依赖：MT-B 的 preinsert_recall.go 用 MT-A 的 collectTidyPairs 新签名 + tidyBudget ⇒ **各自单独都 build 不过**，故一并落地。 MT-A 为让整包编译，最小幅度适配了 MT-B 的 preinsert_recall.go / preinsert_test.go （零值预算=行为不变；符号重名改名）。 【我的验收】隔离 worktree（37 文件）build/vet/linux/darwin 全过，切片包全绿； 我亲手打红两个变异：① 去掉 (compare) 截断标记 ⇒ TestTidyCompareLimit_HitIsLoud 红； ② 中和隔离来源守卫 ⇒ TestReviewRestrictedSourceIsNeverTouched 红。 唯一红是 internal/runtime/tool 的两条超时用例（该包无人改）⇒ 主仓库 -count=8 全绿， 判定为负载敏感 flake（当时两个整树验收 + 子代理并发），已记入开发习惯与约定 §7。 .env.example 补 MEMORY_REVIEW_* 四键（MT-B 无该文件权限，由我按其代码语义补写）。	2026-10-06 08:04:12 +08:00