AskaEth/Cyrene_v2
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
809 Commits 7 Branches 0 Tags
dev
Commit Graph
6 Commits
Author SHA1 Message Date
AskaEth 44fbd29836 feat(memory): sensitive 标记 + 提取器敏感判据，私事退出受限车道召回 
M63（M60 审计 P0-1/P0-2）。作用域 ≠ 敏感度：`scope='user'` 是共享域，里
面却装着住址（花溪 64 条 active）/私称（叶酱 63）/作息（早睡 38），于是受限车
道（群聊/陌生人）把共享域整锅注入上下文 —— 2026-10-29 群 531082168 的住址泄漏
即此路径。本片给 memory_items 加 `sensitive` 列，把「这条归谁」（scope）与
「这条能不能外说」（sensitive）拆成两根正交的轴。

- 迁移 0028：加列（INTEGER NOT NULL DEFAULT 0）+ **同迁移幂等回填**（精确短语
  白名单 花溪/叶酱/早睡，`AND sensitive=0`，不改 updated_at），down 只撤结构；
  memory 包内 `ensureSensitiveSchema` 同形前滚（任意 *sql.DB 自举）。
- 受限判据：新增 `MemoryItem.SharedVisible()` = 共享域 且 !sensitive，成为
  restricted 侧唯一起点；`loop.FilterSharedVisible` 与复用它的 knowledge 工具
  自动跟随。主人车道不过这道判据，照常读到全部记忆（sensitive 不是权限系统）。
- 提取器：prompt 追加 sensitive 位（住址/私人称呼/家人/健康/作息与行程 → true，
  口味/兴趣/项目约定 → false，含正反例）；产出侧与落库侧共用
  `resolveSensitive`（模型的类目判断 ∨ 已实证短语白名单），只加标不撤标。
- 回填入口 `BackfillSensitive(ctx, db, dryRun)`：幂等、可 dry-run、返回候选池
  前后规模与逐短语计数（生产快照实测 3116 → 2948，标 725 行）。
- 读路径并到 15 列（scanItem + 7 处 SELECT）；store.go 拆分 store_insert.go
  守住 500 行上限。

验收：go build/vet/test 全绿（memory + loop 单包复跑绿）；删实现三处变异分别打红
（sensitiveColumn 恒 0 / SharedVisible 忽略 Sensitive / Extractor 跳过白名单）；
生产库快照上跑 0028 后 Go 侧回填 marked=0（迁移 SQL 与 privateFacts 等价）。
 2026-10-30 09:26:15 +08:00
AskaEth 765ef167bd fix(memory): 复审 p2 返工 —— SQL 空串字面量、两处过期注释、人工路径档位 
复审 p2-1items（tip cc6904b）要求的三处，逐条：

1) SQL 双引号改单引号（唯一返工项）：
   - preinsert_store.go 的 revertMergedSQL：`merged_into = ""` → `''`。今天功能等价，
     但靠的是 SQLite「双引号标识符解析不到 ⇒ 回退成字符串字面量」的 legacy 行为；
     这是一条**改数据**的语句，还被 RevertMerged 与整理侧回滚共用，不该依赖回退。
   - retention_migration_test.go 的 `WHERE retention_tier = ""` 一并统一成 `''`，
     并在原位留下「为什么」。
2) 两处过期注释：
   - retention_schema.go：「反过来（先自举、后迁移）也成立」是**假结论**，改为
     「生产顺序成立；反向顺序在 0019 处即失败（duplicate column name: status，既有问题）」。
   - store.go 的 ExpiresAt：「本字段目前只写不读」已半过期（Add 现在会把最终落库
     时刻回填到返回值），改成「读回语义是半开的」：Add 返回的条目有值，从库里读回的
     恒为零值。
3) 人工路径（塔裁定「人工动作默认应为 long」）：包内的 `RememberManual`（「记住 X」）
   显式钉 `RetentionTier = long`，留存规则因此不许把人工明确要求记住的东西降成临时层
   （extract_test.go 加断言）。面板网关那条（adminAddMemory 直调 Add、不传档位）
   按塔的口径不在本片、留给后续切片 —— 本片对它的唯一影响见回报。

不动（按塔的裁定）：preinsert.go 514 行（dev 既有 tech debt）、
design/03 §10.5 与 design/23 §18 的章节（塔的账）、gateway 人工路径。

回归：go build ./... + go vet ./... + go test -count=1 ./internal/runtime/memory/... ./internal/db/...
全绿，内存包 -race 亦绿。
 2026-10-26 13:24:35 +08:00
AskaEth cc6904b1b4 feat(memory): retention_tier 档位列 + defer 与档位合并为同一判定（M37） 
主人 2026-10-26 对「记忆分型」裁定「两列」：kind（关于什么）保留，新增
retention_tier（留多久 / 干什么用）。本片把这条轴从列、判定、写入、读侧过滤
一路打通，并把「判第五态 defer」与「判 retention_tier=temp」合并成一个判定。

结构（迁移 0026 + 自举前滚）：
- memory_items 新增 retention_tier TEXT NOT NULL DEFAULT ''（空串 = 尚未分型，
  历史行与受限来源行），索引 idx_memory_items_retention_tier；up/down 均实跑过
  （在隔离的生产库副本上 migrate → 建 Store → down → 再 up，5073 行零丢失）。
- NewStore 幂等前滚该列 + 建索引（ensureRetentionSchema），与迁移同形由测试钉住。

判定（retention.go，全仓唯一入口）：
- RetentionTier 闭集 temp/daily/work/long/knowledge + 空串未分型；与 kind 正交。
- resolveRetention 的优先级：调用方显式档位 > 显式有效期（⇒ temp）> 受限来源
  不分型 > 留存规则 N1~N7 ⇒ temp > 默认 long。判据靠元数据，规则不许推翻显式档位。
- tempDeadline 是「档位 → expires_at」的唯一换算：temp ⇔ 有效期非空，两列同一笔
  INSERT 落下（M2 登记过的「INSERT 与补写之间的短窗口」就此关闭）。

合并（defer ⇔ temp）：
- judgeIngest 不再跑留存规则，只读 Add 落定的 item.RetentionTier；规则调用点因此
  全仓唯一（源码级断言钉住）。
- 判定不再依赖同步闸是否开启：闸未接/关着时档位与有效期照样落库。
- 异步层对已是 temp 的行不重复改写（避免 TTL 随审查延迟漂移）。
- IngestRuleVersion d3.3 → d3.4（判据作用范围变了，按既有硬规矩升版）。

读侧：
- 四条列表读路径的 SELECT 与 scanItem 读出 retention_tier（14 列）；Get 同样读回。
- 新增 ListByPersonaTiers / ListScopeTiers / ListTiers / ListProjectTiers（可选档位
  过滤，缺省不过滤 ⇒ 历史行照常返回；显式传空串只取未分型；非法档位报错）。
  原方法签名逐字不变 —— 网关 MemoryStore 接口钉着它们，可变参数会编译不过。
- store.go 的读路径拆到 store_list.go，守 500 行上限。

回归：go build ./... + go vet ./... + go test ./... 全绿（内存包另有 -race）。
 2026-10-26 13:09:30 +08:00
AskaEth eddf921229 feat(memory): 记忆整理调优面板读写（三态 + 热生效 + 面板表单） 
主人 2026-10-07 两条口径：「.env 只做兜底用，后端自动创建独立的面板配置文件
之后就走面板配置文件，这些键优先从面板配置上取」+「频率必须调，可以调到 1 小时
或者三小时，或者动态分配（白天短、静默期长）」。

此前 $DATA_DIR/config/memory-tidy.json 只有读路径（装配期读一次 + 启动播种）：
主人要改频率只能改文件 + 重启后端。本切片补上「读回来 → 改 → 落盘 → 当场生效」。

后端（读写端点，契约待塔登记 v0.92）：
- GET  /api/v1/admin/memories/tidy/tuning  读盘上 7 键值 + 取值规则 specs +
  缺位时 .env 档的进程生效值（与 /admin/config-facts 同源）
- PUT  同路径：三态补丁（键缺位 = 不改动 / 合法值 = 采用 / 非法值 = 400 且盘上一
  个字节都不动）+ null 清除哨兵（删键 ⇒ 回到下一档）+ writeAuth + 审计
  memory.tidy.tuning；值一个都没变时不落盘，文件解不开时拒绝覆盖（409）
- 落盘走 runtimeconfig.PatchMemoryTidyTuning（原子写 temp+rename，与
  SeedMemoryTidy/SaveWebSearch 同族同手法）；补丁语义保留下受管的其它键
  （t1Judge/t1PerWindow/autoApplyPerRound 原样保留）
- 热生效：保存后按「面板 > .env > 代码默认」重算并叠到运行期对象；整理档会
  重排心跳（否则新周期要等旧周期那一觉睡完），审查档当场改 ingestGate/tempTtlSec。
  未接线/失败时如实回 hot:false + hotError，绝不把「落盘了」说成「生效了」

前端（Miuix）：
- 记忆管理页新增「记忆整理调优」卡：7 键表单（中文标签、单位、留空⇒跟随谁、
  env 档当前值、坏值就地报错并拦住保存、保存后回显从磁盘读回的真值）
- 试算卡的 recallMode 按契约 v0.91 如实渲染：embedding / lexical（已降级）/
  mixed（部分分区降级）/ ""（无候选可比）——空串不再渲染成空标签；并把
  error.code=tidy_recall_unavailable 单列一句（「尝试过但向量源不可用」，与
  「没有候选可比」显式区分）

验证：go test ./internal/{services/gateway,runtime/memory,config/runtimeconfig}
全绿；三态/清除/坏文件拒写/同值不重写/热生效接线各有用例，并逐条做过变异自证；
tsc --noEmit + vite build 通过；两个 esbuild 前端测试 39 + 34 + 41 checks 通过。
 2026-10-13 21:59:18 +08:00
AskaEth 21b906ffb0 feat(memory): D3 第五态 defer（入库审查）+ 提取留存规则闸 + 临时 TTL 配置面 
主人原话：「收窄提取器，确实要给他一个主动式的记忆留存规则，不能想到什么都
往记忆里写」「.env 只做兜底用 …这些键优先从面板配置上取」「临时记忆到期删除」。
按 design/23 §18（D3 第五态 defer）、§19（到期处置）、design/03 §9.6
（tempTtlSec 默认 7 天 + 坏值口径）、§10（提取留存规则）落地。

- IngestDecision 闭集加第五态 defer：照常 active 落库 + 写短 expires_at 落
  临时层（不删行、不改正文，回滚 = 清空该列）；IngestRuleVersion d3.2 → d3.3。
- 落点：ingestGatePlan 增 ExpiresAt + expiresAt()（走 expiryText/formatTime 的
  定宽 30 字节 UTC，与读侧时效闸同一套文本口径），由 finishIngest 在 defer 一态
  补写 expires_at（INSERT 与补写之间的短暂窗口如实登记，方向 = 宁可多留）。
  非 defer 三态一笔都不多写。
- T0 提取留存规则闸（extract_retention.go）：design/03 §10.5 的 N1~N5 纯规则，
  接进 judgeIngest 的候选比对之前，命中即 defer + reason=t0_low_value，不进 T1；
  两道护栏（显式「记住」/ 持久信号）一票放行，fail-safe 方向 = 宁可多留。
- T1 闭集扩为 merge/modify/keep/defer（同一个 prompt、同一次调用，绝不新增
  第二次模型调用）：只有关系判为真新时才问价值；defer 要求 target=0，否则判
  非法回落 create（reason=t1_reply_invalid）。
- 提取器提示词加固（design/03 §10.3 B）：正向清单 + 反例清单 + 「允许返回 []」。
- 临时记忆 TTL：代码默认 tempTtlSec = 604800（7 天）；面板
  $DATA_DIR/config/memory-tidy.json 的 tempTtlSec 优先（ApplyReviewTuning 逐键
  解析，坏值回落默认 + WARN，绝不写进 cfg）。该键在 .env 里没有出处且不新增
  （.env 已冻结）⇒ 实际生效链是「面板 > 代码默认」。启动播种同步该键（*int +
  omitempty，nil 省略、绝不写 null），保证播种文件与生效值逐字一致。
- preinsert_store.go 的 listReviewCandidatesSQL 原位注释：这条内部召回 SQL
  刻意不过时效闸的裁定与理由（design/03 §11.2 第 3 条）。
- 测试：defer 落库带短 expires_at（闸 + T1 两条路径）、写入口径与时效闸同源、
  TTL 坏值与回落、规则版本 d3.3、整理候选幂等键不含 IngestRuleVersion、
  提取规则正例 11 条 / 反例 11 条。

验收：go build ./... + go vet ./... + go test ./... 全绿；windows/darwin 交叉
编译通过（GOOS=darwin GOARCH=arm64 / GOOS=windows GOARCH=amd64）。
 2026-10-13 20:22:48 +08:00
AskaEth 6e28b38b08 feat(memory): 护栏抬高+时间预算闸+试算加性异步 与 D3 入库前审查（耦合两片一起落）
CI / Backend (build / vet / test / cross-compile) (push) Has been cancelled
Details
CI / Frontend (tsc + vite build) (push) Has been cancelled
Details 
【MT-A：护栏 + 诚实截断 + 试算异步】
- maxTidyCompareItems 400(写死)→2000 并开放为 MEMORY_TIDY_COMPARE_LIMIT；
  MEMORY_TIDY_CANDIDATE_LIMIT 默认 20→200（语义不变，仍每分区）
- 依据是首跑实测：459 条的分区被 400 截断 ⇒ compared(705) < scanned(784)，
  候选数(77)由上限而不是规则决定；三处上限的 WARN 都补齐了总数/上限/分区名
- 新增「上限 + 时间预算」双闸（实测 2000 条/分区 ≈234s > 3 分钟墙钟）：
  整分区跳过 / 两两比对中途收手，一律如实记 (budget) + WARN
- ?async=1 ⇒ 202 {runId,status}；GET …/{runId} 轮询（writeAuth 同档）；
  done 的 result 与同步 data 逐字节同形；并发=复用既有 runId、TTL 30min 自完成起算、
  重启即如实 404 tidy_run_not_found；不带 async 时同步路径逐字不变

【MT-B：D3 入库前审查（design/23 §15.1）】
- 新记忆经 Store.Add（仓库里唯一 INSERT INTO memory_items）落库后，由独立记忆管理
  会话（sess-memorytidy）在有界后台队列异步判定 skip/merge/modify/create
- 软合并回写（status + merged_into/merged_from/merge_count，可 revert、绝不改 content）
- 隔离来源（群聊/陌生人）**概不审查**、召回/超时失败**零改写**（fail-safe 结构性成立）
- 写入侧仅 +62.7µs/条（非阻塞入队）；默认 ENABLED=true（主人裁定：入库前先审查）

【耦合说明（重要）】两片同包且互相依赖：MT-B 的 preinsert_recall.go 用 MT-A 的
collectTidyPairs 新签名 + tidyBudget ⇒ **各自单独都 build 不过**，故一并落地。
MT-A 为让整包编译，最小幅度适配了 MT-B 的 preinsert_recall.go / preinsert_test.go
（零值预算=行为不变；符号重名改名）。

【我的验收】隔离 worktree（37 文件）build/vet/linux/darwin 全过，切片包全绿；
我亲手打红两个变异：① 去掉 (compare) 截断标记 ⇒ TestTidyCompareLimit_HitIsLoud 红；
② 中和隔离来源守卫 ⇒ TestReviewRestrictedSourceIsNeverTouched 红。
唯一红是 internal/runtime/tool 的两条超时用例（该包无人改）⇒ 主仓库 -count=8 全绿，
判定为负载敏感 flake（当时两个整树验收 + 子代理并发），已记入开发习惯与约定 §7。

.env.example 补 MEMORY_REVIEW_* 四键（MT-B 无该文件权限，由我按其代码语义补写）。
 2026-10-06 08:04:12 +08:00