AskaEth
90f430216a
主人 2026-10-07 裁定：「把记忆整理功能接到昔涟和记忆库中间做审查，由整理功能 进行入库」。现状是**异步 + 入库后软合并** ⇒ 行已经落库才审，面板/召回先脏后清， 而写入速率实测 ~25 条/小时（≈600/天）⇒ 清理永远追不上。 落法（三条硬规格，全部落地）： ① **同步闸但有界**：闸在 `store.go:247` 的 `planIngest`（INSERT **之前**）， 本体 `preinsert_gate.go`。墙钟预算 **150ms**（实测最坏 p95 仅 4~7ms ⇒ 20~50 倍 余量）、候选扫描上限 **100**（比异步侧 200 更紧，因为它在写路径上）。 🔴 **零远端 embedding**：闸恒用词项余弦（`deps.Embedder` 根本不参与）—— 远端 embedding 一次 2.3~3.0s 且对同文本返回不同向量（不可复现），不许摆在同步 路径上拍板。 ② **fail-open，绝不丢记忆**：候选源报错 ⇒ `gate:candidates_unavailable`；超预算 ⇒ `gate:budget_exceeded` ⇒ **照常 insert(active) + 投既有队列 + 留痕 + WARN**。 ③ **三态落库（落 merged，而不是"不插入"）**：确定性命中（字面重复 / 归一化等价 / 真包含）⇒ INSERT **直接带 `status='merged'` + `merged_into=<存活行>`**，存活行 `merged_from` 追加、`merge_count`+1 ⇒ **新行从不进 active、从不建向量索引**， 而**行与原文都在表里 ⇒ revert 无损**。若"干脆不插"，那条文本从未存在过行， revert 无从下手，违反 design/23 §8 的红线。 - **不与异步 D3 重复审**：闸做决定的那条 `Async=false`（留痕由闸自己落， 审计动作名 `memory.ingest.gate`）；真新/拿不准的走原有队列（留痕仍归异步层）。 - **开关**：`$DATA_DIR/config/memory-tidy.json` 的 `{"ingestGate": false}` ⇒ 一键回到 「只插不审」（= 改动前的异步行为）。**零新 env 键**（`.env` 未碰）。 - 顺手把 `store.go` 的行映射拆到 `store_rows.go`（守 §10 的 ≤500 行）。 验收（主会话复跑 + 亲自变异）：`go build ./...` + `go vet` 绿；memory 包测试绿； 我用 -overlay 摘掉闸的预算 ⇒ `TestIngestGate_Add墙钟有界` 与 `…failOpen_超预算绝不丢记忆` 变红（"Add 等了 2.0s，越过闸预算 150ms"）。 子代理另做 2 个变异（去掉预算 / 把 fail-open 改成 fail-closed）全红，并实测 **闸开 vs 关的 `Add` 额外墙钟：p50 ≈2.5~3.1ms、p95 ≈4~7ms**（基线批均值 35.8µs）。 ⚠️ 未部署（要一次 build + restart）；⚠️ 已知边界（如实）：闸只用词项余弦 ⇒ 「同义但字面差得远」拦不住（有意为之，由异步层/夜间整理兜）；闸的候选是**最新 100 条**（更老的重复闸看不到）；**并发同内容双写**仍可能两条都落 active（既有竞态， SELECT 与 INSERT 不在同一事务，非本次引入，第二层会清）。
93 lines
4.2 KiB
Go
93 lines
4.2 KiB
Go
package main
|
||
|
||
import (
|
||
"fmt"
|
||
|
||
"git.yeij.top/AskaEth/Cyrene_v2/internal/config/runtimeconfig"
|
||
"git.yeij.top/AskaEth/Cyrene_v2/internal/logger"
|
||
"git.yeij.top/AskaEth/Cyrene_v2/internal/runtime/memory"
|
||
)
|
||
|
||
// 本文件把记忆整理（DevDocs/design/23-记忆整理与去重 §4）接进组合根。
|
||
//
|
||
// 四件事只在这里定：
|
||
// - **形态**：低峰定期后台任务（memory.TidyService 的心跳），不是会话内派
|
||
// subagent。它在 main.go 与 backthink 并列启动、在 close 里先于关库停止；
|
||
// - **依赖面**：只给它记忆存储与 embedder —— 服务侧拿不到任何会话/历史读数，
|
||
// 因此 design §4.1「绝不碰主会话上下文」是结构性成立的，而不是靠自觉；
|
||
// - **审计**：接到网关的 AuditEvent（design §8 的 memory.tidy.*），出口在调用
|
||
// 时才解析 a.gw —— 网关比本服务晚组装（wireFrontend），与 onToolAudit
|
||
// 同一手法。未就绪时只记日志，绝不假装写过审计；
|
||
// - **运行期调优**（2026-10-07 新增）：从 `$DATA_DIR/config/memory-tidy.json`
|
||
// 读「自动落地开关 + 每轮上限」。它是 `.env` 冻结（design/13 §2.1）之后新旋钮
|
||
// 的唯一去处，**零新 env 键**；读不到/解不开一律回落代码默认值并记 WARN
|
||
// （坏配置绝不能让自动档变成「无限制」）。
|
||
//
|
||
// 刻意**不做**的一件事（design §4.1 F）：
|
||
// - 不把 sess-memorytidy 加进 flowPub 的图源白名单（默认关：整理是系统任务，
|
||
// 不是主人的会话）。
|
||
func (a *app) wireMemoryTidy() error {
|
||
cfg := memory.TidyConfigFromConfig(a.cfg.MemoryTidy)
|
||
a.applyMemoryTidyTuning(&cfg)
|
||
svc, err := memory.NewTidyService(cfg, memory.TidyDeps{
|
||
Store: a.memStore,
|
||
Embedder: a.embedder,
|
||
Audit: a.auditMemoryTidy,
|
||
Log: logger.WithSource(a.log, "memory/tidy"),
|
||
})
|
||
if err != nil {
|
||
return fmt.Errorf("memory tidy: %w", err)
|
||
}
|
||
a.memoryTidy = svc
|
||
return nil
|
||
}
|
||
|
||
// applyMemoryTidyTuning 把 `$DATA_DIR/config/memory-tidy.json` 叠到 env 侧的
|
||
// TidyConfig 上（见 runtimeconfig.MemoryTidyTuning 的零值口径）：
|
||
// - 文件里**没写** autoApply ⇒ 保持代码默认（开）；
|
||
// - 写 `false` ⇒ DisableAutoApply = true（一键回到「只产建议」，不必改代码）；
|
||
// - autoApplyPerRound ≤ 0 ⇒ 不覆盖，交给 normalizeTidyConfig 填默认上限。
|
||
//
|
||
// 读不到/解不开时只记 WARN 并保持 env 侧的值：那正是「回落代码默认值」。
|
||
func (a *app) applyMemoryTidyTuning(cfg *memory.TidyConfig) {
|
||
tuning, path, err := a.readMemoryTidyTuning()
|
||
if err != nil {
|
||
logger.WithSource(a.log, "memory/tidy").Warn(
|
||
"memory tidy tuning unreadable, falling back to code defaults",
|
||
"path", path, "error", err)
|
||
return
|
||
}
|
||
cfg.DisableAutoApply = tuning.AutoApplyOff()
|
||
if tuning.AutoApplyPerRound > 0 {
|
||
cfg.AutoApplyPerRound = tuning.AutoApplyPerRound
|
||
}
|
||
logger.WithSource(a.log, "memory/tidy").Info(
|
||
"memory tidy tuning loaded",
|
||
"path", path, "auto_apply", !cfg.DisableAutoApply,
|
||
"auto_apply_per_round", cfg.AutoApplyPerRound)
|
||
}
|
||
|
||
// readMemoryTidyTuning 读一次 `$DATA_DIR/config/memory-tidy.json`（**只读**）。
|
||
// 它把「落点 + 读取 + 路径回报」收在一处，供整理自动档与**同步入库闸**两个
|
||
// 消费者共用 —— 后者（wireMemoryReview）不属于整理服务，但它的开关就在同一个
|
||
// 文件里（零新 env 键，design/13 §2.1）。错误由调用方记 WARN 并回落代码默认值。
|
||
func (a *app) readMemoryTidyTuning() (runtimeconfig.MemoryTidyTuning, string, error) {
|
||
path := runtimeconfig.DefaultMemoryTidyPath(resolveDataDir(a.cfg))
|
||
tuning, err := runtimeconfig.LoadMemoryTidyTuning(path)
|
||
if err != nil {
|
||
return runtimeconfig.MemoryTidyTuning{}, path, err
|
||
}
|
||
return tuning, path, nil
|
||
}
|
||
|
||
// auditMemoryTidy 把一轮整理的计数写进网关审计链。它**只带计数**，绝不带
|
||
// 任何记忆正文（design §8 的 who/what/when/result 口径）。
|
||
func (a *app) auditMemoryTidy(who, what, result string) {
|
||
if a.gw != nil {
|
||
a.gw.AuditEvent(who, what, result)
|
||
return
|
||
}
|
||
logger.WithSource(a.log, "memory/tidy").Info(
|
||
"memory tidy audit dropped: gateway not ready", "who", who, "what", what, "result", result)
|
||
}
|