feat(memory): dedupe_group 候选动作 + 留存闸组合口径与 N6/N7 时点规则（M34）
M27 体检（DevDocs/audit/记忆库价值体检-2026-10-24.md）两条根治项：
1) 新增 `dedupe_group` 候选动作（不放大 containNone）：
- 簇只认「同 scope+kind+完全相同 tag 集」或「同 scope+kind+前 12 字相同」
（后者附加词项余弦 ≥0.70 与同 kind 收窄）；
- 每簇保留超集：内容最长 > merge_count 大 > created_at 早 > id；
- 安全门与既有合并路径同源：受限来源/绝对时刻/时效状态/低置信一律不进簇，
数值与否定与存活行不一致的成员被逐条剔出；临时层行（expires_at 非空）
两个方向都不进簇（存活行被清扫会给被吸收行留悬空 merged_into）；
- 已被 archive/merge 候选覆盖的条目不重复出第二条待办（抑制）；
- 落库形态与 merge 同构：source_ids 多条 + target_id，应用为整簇原子的软合并，
回滚复用 revertTidyMerge（逐条复原）；
- 批量应用按**行**计上限 200 行/批（maxTidyApplyRowsPerBatch），超限如实 truncated；
- 不进自动档（人工/批量点）；试算（DryRun）零写库给出簇数与可减少行数。
2) 留存闸改组合口径（治根）+ N6/N7：
- 护栏②从「含习惯/约定词就一票放行」改为「锚点词 **且** 含具体约束
（数字/禁忌/频次规律）」；无约束的锚点交给更窄的规则判；
- N1/N3/N4/N5 这几条词项规则改为「无锚点时才开火」（`主人喜欢说晚安`
这类偏好不再因寒暄词被判临时）；
- 新增 N6（指示性时点，句首前 12 字内）与 N7（进行中状态），安全阀：习惯词、
硬性长期事实词、数值/约束、寒暄/情绪词一律按回去；
- 命中即第五态 defer，`expires_at = 判定时刻 + tempTtlSec`（默认 7 天，
已落在 $DATA_DIR/config/memory-tidy.json，零新 .env 键）；**只开新增侧**，
存量一条不补写（用例钉住）。
契约（加性，不改既有字段语义）：tidy dry-run/run 回执加 dedupeGroups /
dedupeRowsReducible / dedupeTruncated；批量应用回执加 deduped / rowsAffected。
实测（生产库只读 mode=ro，active 3667）：
- 闸：改前 2 条(0.05%) → 改后 89 条(2.43%)：n6 58 / n7 29 / n1 2；
89 条里 30 条含锚点词，逐条人读均为「约定明天中午见」「约定下周留个午后」
这类到期即失效的安排（唯一可议：1 条把「中午互动的日常」一起带进临时层）。
- dedupe_group：281 簇 / 可减 594 行（16.2% of active）；tag_set 265 / prefix12 16；
簇大小 2:170 3:48 4:27 5:10 6:10 7:7 8:2 9:2 10:1。
验收：go build ./... + go vet ./... + go test ./... 全绿。
This commit is contained in:
AskaEth committed
1 parent
210c8b999f
commit
6a3f3a329a
20 files changed
+2353
-403
No files matched your search
@@ -141,6 +141,13 @@ type TidyApplyBatch struct {
|
||||
Merged int `json:"merged"`
|
||||
Archived int `json:"archived"`
|
||||
Reclassified int `json:"reclassified"`
|
||||
// Deduped 是成功落地的 `dedupe_group` 簇数（2026-10-24）。它与 Merged 分开：
|
||||
// 「一对一并进」与「一簇 N 条并进」在面板上是两件事（后者一次动多行）。
|
||||
Deduped int `json:"deduped"`
|
||||
// RowsAffected 是本次真的被改动的**记忆行数**（merge/archive/reclassify 各 1 行，
|
||||
// dedupe_group 是簇里的被吸收行数）。行预算 `maxTidyApplyRowsPerBatch` 按它计，
|
||||
// 因此这个数字是「这一次点击改了多少行记忆」的直接回答。
|
||||
RowsAffected int `json:"rowsAffected"`
|
||||
}
|
||||
|
||||
// ApplyTidyCandidate 应用**一条**候选（design/23 §11 的 apply 粒度之一）。
|
||||
@@ -175,6 +182,8 @@ func (s *Store) applyCandidate(ctx context.Context, cand TidyCandidate, opts Tid
|
||||
return s.applyTidyArchive(ctx, cand, opts, now)
|
||||
case TidyReclassify:
|
||||
return s.applyTidyReclassify(ctx, cand, opts, now)
|
||||
case TidyDedupeGroup:
|
||||
return s.applyTidyDedupeGroup(ctx, cand, opts, now)
|
||||
default:
|
||||
return skipTidyApply(base, tidySkipActionNotApplyable), nil
|
||||
}
|
||||
@@ -185,7 +194,7 @@ func (s *Store) applyCandidate(ctx context.Context, cand TidyCandidate, opts Tid
|
||||
// 库里既有的历史行与「不许假装做过」的诚实口径。
|
||||
func (a TidyAction) applyable() bool {
|
||||
switch a {
|
||||
case TidyMerge, TidyArchive, TidyReclassify:
|
||||
case TidyMerge, TidyArchive, TidyReclassify, TidyDedupeGroup:
|
||||
return true
|
||||
default:
|
||||
return false
|
||||
@@ -399,11 +408,21 @@ func (s *Store) ApplyTidyCandidates(ctx context.Context, runID string, opts Tidy
|
||||
Truncated: total > len(cands),
|
||||
Results: make([]TidyApplyResult, 0, len(cands)),
|
||||
}
|
||||
rows := 0
|
||||
for _, cand := range cands {
|
||||
if err := ctx.Err(); err != nil {
|
||||
// 上下文取消时**已应用的保持已应用**，未做的留给下一次（与清扫同口径）。
|
||||
break
|
||||
}
|
||||
// 按行计的批量上限（2026-10-24）：一条 dedupe_group 候选会改 N 行，只按候选
|
||||
// 条数限批会让「一次点击改上千行记忆」。超限时**如实标 truncated** 并停下，
|
||||
// 剩下的留给下一次点击（与扫描/候选上限同一口径：绝不静默少做）。
|
||||
if cost := tidyApplyRowCost(cand); rows+cost > maxTidyApplyRowsPerBatch {
|
||||
batch.Truncated = true
|
||||
break
|
||||
} else {
|
||||
rows += cost
|
||||
}
|
||||
res, err := s.applyCandidate(ctx, cand, opts)
|
||||
if err != nil {
|
||||
res = tidyFailed(TidyApplyResult{
|
||||
@@ -412,8 +431,13 @@ func (s *Store) ApplyTidyCandidates(ctx context.Context, runID string, opts Tidy
|
||||
}, err)
|
||||
}
|
||||
batch.Results = append(batch.Results, res)
|
||||
batch.RowsAffected += len(res.AffectedIDs)
|
||||
tallyTidyApply(&batch, res)
|
||||
}
|
||||
if len(batch.Results) < len(cands) {
|
||||
// 循环被行预算或 ctx 打断：`len(cands)` 之内还有未处理项 ⇒ 不完整。
|
||||
batch.Truncated = true
|
||||
}
|
||||
if batch.RunID != "" && batch.Applied > 0 {
|
||||
// 该轮的 applied 计数累加（design/23 §10 的 memory_tidy_runs.applied）：
|
||||
// 运行时那一轮写 0（当轮绝不自动应用），事后应用在这里补记。
|
||||
@@ -423,64 +447,3 @@ func (s *Store) ApplyTidyCandidates(ctx context.Context, runID string, opts Tidy
|
||||
}
|
||||
return batch, nil
|
||||
}
|
||||
|
||||
// tallyTidyApply 把一条结果计入批量回执的计数器。
|
||||
func tallyTidyApply(batch *TidyApplyBatch, res TidyApplyResult) {
|
||||
switch res.Status {
|
||||
case TidyApplyApplied:
|
||||
batch.Applied++
|
||||
switch res.Action {
|
||||
case TidyMerge:
|
||||
batch.Merged++
|
||||
case TidyArchive:
|
||||
batch.Archived++
|
||||
case TidyReclassify:
|
||||
batch.Reclassified++
|
||||
}
|
||||
case TidyApplyFailed:
|
||||
batch.Failed++
|
||||
default:
|
||||
batch.Skipped++
|
||||
}
|
||||
}
|
||||
|
||||
// skipTidyApply 造一条 skipped 结果。
|
||||
func skipTidyApply(base TidyApplyResult, reason string) TidyApplyResult {
|
||||
base.Status = TidyApplySkipped
|
||||
base.Reason = reason
|
||||
if base.AffectedIDs == nil {
|
||||
base.AffectedIDs = []string{}
|
||||
}
|
||||
return base
|
||||
}
|
||||
|
||||
// tidyFailed 造一条 failed 结果（错误只进 Error 字段，调用方决定记不记日志）。
|
||||
func tidyFailed(base TidyApplyResult, err error) TidyApplyResult {
|
||||
base.Status = TidyApplyFailed
|
||||
base.Reason = "apply_failed"
|
||||
base.Error = err.Error()
|
||||
if base.AffectedIDs == nil {
|
||||
base.AffectedIDs = []string{}
|
||||
}
|
||||
return base
|
||||
}
|
||||
|
||||
// finishTidyApply 把事务结果收敛成一条结果：nil ⇒ applied；幂等哨兵 ⇒ skipped；
|
||||
// 目标行不在册 ⇒ skipped（原因由 notActiveReason 给）；其余 ⇒ failed。
|
||||
//
|
||||
// affected 是**成功时才会挂上去**的受影响行 id：跳过的结果绝不能声称改过哪一行
|
||||
// （那是把「没做」说成「做了」）。
|
||||
func finishTidyApply(base TidyApplyResult, affected []string, err error, notActiveReason string) (TidyApplyResult, error) {
|
||||
switch {
|
||||
case err == nil:
|
||||
base.Status = TidyApplyApplied
|
||||
base.AffectedIDs = affected
|
||||
return base, nil
|
||||
case errors.Is(err, errTidyCandidateDecided):
|
||||
return skipTidyApply(base, tidySkipAlreadyDecided), nil
|
||||
case errors.Is(err, errTidyItemNotActive):
|
||||
return skipTidyApply(base, notActiveReason), nil
|
||||
default:
|
||||
return tidyFailed(base, err), nil
|
||||
}
|
||||
}
|
||||
Reference in new issue
Block a user