AskaEth
90f430216a
主人 2026-10-07 裁定：「把记忆整理功能接到昔涟和记忆库中间做审查，由整理功能 进行入库」。现状是**异步 + 入库后软合并** ⇒ 行已经落库才审，面板/召回先脏后清， 而写入速率实测 ~25 条/小时（≈600/天）⇒ 清理永远追不上。 落法（三条硬规格，全部落地）： ① **同步闸但有界**：闸在 `store.go:247` 的 `planIngest`（INSERT **之前**）， 本体 `preinsert_gate.go`。墙钟预算 **150ms**（实测最坏 p95 仅 4~7ms ⇒ 20~50 倍 余量）、候选扫描上限 **100**（比异步侧 200 更紧，因为它在写路径上）。 🔴 **零远端 embedding**：闸恒用词项余弦（`deps.Embedder` 根本不参与）—— 远端 embedding 一次 2.3~3.0s 且对同文本返回不同向量（不可复现），不许摆在同步 路径上拍板。 ② **fail-open，绝不丢记忆**：候选源报错 ⇒ `gate:candidates_unavailable`；超预算 ⇒ `gate:budget_exceeded` ⇒ **照常 insert(active) + 投既有队列 + 留痕 + WARN**。 ③ **三态落库（落 merged，而不是"不插入"）**：确定性命中（字面重复 / 归一化等价 / 真包含）⇒ INSERT **直接带 `status='merged'` + `merged_into=<存活行>`**，存活行 `merged_from` 追加、`merge_count`+1 ⇒ **新行从不进 active、从不建向量索引**， 而**行与原文都在表里 ⇒ revert 无损**。若"干脆不插"，那条文本从未存在过行， revert 无从下手，违反 design/23 §8 的红线。 - **不与异步 D3 重复审**：闸做决定的那条 `Async=false`（留痕由闸自己落， 审计动作名 `memory.ingest.gate`）；真新/拿不准的走原有队列（留痕仍归异步层）。 - **开关**：`$DATA_DIR/config/memory-tidy.json` 的 `{"ingestGate": false}` ⇒ 一键回到 「只插不审」（= 改动前的异步行为）。**零新 env 键**（`.env` 未碰）。 - 顺手把 `store.go` 的行映射拆到 `store_rows.go`（守 §10 的 ≤500 行）。 验收（主会话复跑 + 亲自变异）：`go build ./...` + `go vet` 绿；memory 包测试绿； 我用 -overlay 摘掉闸的预算 ⇒ `TestIngestGate_Add墙钟有界` 与 `…failOpen_超预算绝不丢记忆` 变红（"Add 等了 2.0s，越过闸预算 150ms"）。 子代理另做 2 个变异（去掉预算 / 把 fail-open 改成 fail-closed）全红，并实测 **闸开 vs 关的 `Add` 额外墙钟：p50 ≈2.5~3.1ms、p95 ≈4~7ms**（基线批均值 35.8µs）。 ⚠️ 未部署（要一次 build + restart）；⚠️ 已知边界（如实）：闸只用词项余弦 ⇒ 「同义但字面差得远」拦不住（有意为之，由异步层/夜间整理兜）；闸的候选是**最新 100 条**（更老的重复闸看不到）；**并发同内容双写**仍可能两条都落 active（既有竞态， SELECT 与 INSERT 不在同一事务，非本次引入，第二层会清）。
75 lines
2.8 KiB
Go
75 lines
2.8 KiB
Go
package memory
|
|
|
|
import "fmt"
|
|
|
|
// 本文件是入库前审查（design/23 §15.1 D3）的**观测面**：进程内计数与审计出口。
|
|
// 它从 preinsert.go 拆出来只为守 AGENTS §10 的文件行数上限（≤500 行）与
|
|
// 「模块按职责拆源文件」那条规范 —— 口径逐字未变。
|
|
//
|
|
// 为什么要**分列**闸与异步队列的计数：同步入库闸（写路径上当场拍板）与异步
|
|
// 审查队列（后台补审）是两件事，把它们加成一个数会让「闸拦下了多少重复」与
|
|
// 「事后补审了多少」不可分辨。分列之后，面板/日志能分别读到两条路径的量。
|
|
|
|
// ReviewStats 是审查的观测计数（进程内累计，供日志/测试断言）。
|
|
type ReviewStats struct {
|
|
Reviewed int
|
|
Skipped int
|
|
Merged int
|
|
Modified int
|
|
Created int
|
|
Dropped int
|
|
Failed int
|
|
// GateChecked 是**同步入库闸**实际做了一次判定的条数（跳过闸的条目不计）。
|
|
GateChecked int
|
|
// GateAbsorbed 是闸当场拦下并落成 `merged` 的条数（真重复，含 modify 的
|
|
// 「旧行被吸收」）。
|
|
GateAbsorbed int
|
|
// GateFailed 是闸因预算/候选源不可用而 fail-open 的次数（照常插入 + 留痕）。
|
|
GateFailed int
|
|
}
|
|
|
|
// bump 在互斥下修改计数（工作协程、手动 Review 与同步闸都可能调用）。
|
|
func (r *PreInsertReviewer) bump(apply func(*ReviewStats)) {
|
|
r.statsMu.Lock()
|
|
defer r.statsMu.Unlock()
|
|
apply(&r.stats)
|
|
}
|
|
|
|
// recordDecision 累计观测计数（含降级计数，便于运维判读）。
|
|
func (r *PreInsertReviewer) recordDecision(rev IngestReview) {
|
|
r.bump(func(s *ReviewStats) {
|
|
s.Reviewed++
|
|
switch rev.Decision {
|
|
case IngestSkip:
|
|
s.Skipped++
|
|
case IngestMerge:
|
|
s.Merged++
|
|
case IngestModify:
|
|
s.Modified++
|
|
default:
|
|
s.Created++
|
|
}
|
|
})
|
|
}
|
|
|
|
// auditWith 写一条审计。verb 让「同步闸当场拦下的」与「异步审查事后合并的」
|
|
// 在审计链上可分（前者 memory.ingest.gate，后者 memory.review.ingest）。
|
|
// 它**只带决定与 id，绝不带任何记忆正文**。
|
|
func (r *PreInsertReviewer) auditWith(verb string, rev IngestReview) {
|
|
result := fmt.Sprintf("decision=%s reason=%s item=%s target=%s degraded=%t score=%.3f",
|
|
rev.Decision, rev.Reason, rev.ItemID, rev.TargetID, rev.Degraded, rev.Score)
|
|
if r.deps.Audit == nil {
|
|
r.log.Debug("memory ingest review audit (no sink configured)", "what", verb, "result", result)
|
|
return
|
|
}
|
|
r.deps.Audit(reviewAuditWho, verb, result)
|
|
}
|
|
|
|
// reviewStatsLabel 把计数渲染成一条稳定日志串。
|
|
func reviewStatsLabel(s ReviewStats) string {
|
|
return fmt.Sprintf("reviewed=%d skip=%d merge=%d modify=%d create=%d dropped=%d failed=%d "+
|
|
"gate_checked=%d gate_absorbed=%d gate_failed=%d",
|
|
s.Reviewed, s.Skipped, s.Merged, s.Modified, s.Created, s.Dropped, s.Failed,
|
|
s.GateChecked, s.GateAbsorbed, s.GateFailed)
|
|
}
|