AskaEth
54e32304f2
r1 复审 p1-1（会毁数据）：tag_set 簇的安全门只有数值与否定，**专有名词/引号取值不比**， 生产语料实测把 `用户的昵称是「叶酱」。` 并进 `主人的昵称是「喵喵七号」…` 的存活行， 而同库另有 4 行写着「喵喵七号已作废、应称叶酱」⇒ 一次 apply 丢掉当前事实。 修法（结构性，不是补丁）： - 新增取值门 tidy_dedupe_values.go：被吸收行的**引号取值**（「」『』“”‘’"）与 **拉丁 token**（≥2 字母，含 h3R3 这类混排）必须在存活行正文中一个不少； 方向单向（被吸收 ⊆ 存活），与软合并语义同向（存活行多出的取值不会丢）。 补齐 design/23 §5.1-3 要求的「专有名词 / 数值 / 否定词」三件套里缺的第一件。 - tag_set 簇也过相似度下限（dedupeGroupMinSimilarity 两档统一）。取值 0.10 而非更高： 语料实测 tag_set 合法改写（`用户可能需要提醒吃早饭…` 0.047、`叶酱有工作…` 0.109） 的余弦本来就在 0.05~0.4 —— 抬高它只会删掉合法去重，不会多挡住危险对。 实测（503 对）：0.10→保留 98%、0.20→86%、0.30→63%、0.40→40%、0.50→20%。 - 回归用例：TestDedupeGroupRejectsSameTagDifferentValue（脱敏真实语料 + 同值对照组）、 TestDedupeGroupLatinTokenIsAlsoAValue、TestDedupeGroupNeverLosesAValue（簇级不变式）、 TestDedupeGroupTagSetAlsoNeedsSimilarityFloor。去掉取值门 ⇒ 前三条红；把 tag 相似度 归零 ⇒ 第四条红。 r1 复审 p2-1（数据安全）：元信息查询失败时**该分区本轮不分簇**（旧实现降级成 nil map， `temporary` 恒 false ⇒ 绕开「临时行绝不进簇」红线）；apply 侧补 `expires_at` 复核 （候选久置/生成后变临时 ⇒ 整簇 skip，tidySkipTemporaryRow）。用例： TestDedupeInPartitionSkipsWhenMetaUnavailable、TestTidyApplyDedupeGroupSkipsTemporaryRows。 r1 复审 p2-2（闸误杀被低报）：补三类安全阀 ——「以后/从此/往后/今后」= 自此刻起永久成立、 「换成/变成/改成/搬进」= 状态已改变且新状态持续、N7 的进行中标记同样必须句首 12 字内； 「宿舍」进长期事实词表；顺手修 `<=` 的 off-by-one（改为 `<`）。 实测（生产库只读 mode=ro，active 3667）： - dedupe：281 簇/594 行 → **255 簇/505 行（13.8%）**；tag_set 240 / prefix12 15； 取值门挡 76 对、相似度门挡 12 对；簇大小 2:155 3:48 4:26 5:8 6:7 7:4 8:2 9:2 18:1 20:2 （两个 20 行簇与 18 行簇的取值集合均为单一「喵喵七号」⇒ 大簇=同一事实的重写）。 - 闸：改前 2 (0.05%) → 改后 **75 (2.05%)**（n6 53 / n7 20 / n1 2）；含锚点词的 27 条 逐条人读均为「约定明天中午见 / 下周留个午后」类到期即失效的安排。 - 达标代价：+目前/现在 当锚点 → 2.13%；再叠一次性事件动词表（曾/发来/分享…）→ 6.74% 且新增 172 条里 56 条是长期身份/里程碑（「i love you 文件」17 条、「海报就是助手本人」 10 条…）⇒ 仍到不了 8%，不许为凑区间放宽。 验收：go build ./... + go vet ./... + go test ./... 全绿；-race ./internal/runtime/memory ok。
89 lines
3.4 KiB
Go
89 lines
3.4 KiB
Go
package memory
|
||
|
||
import (
|
||
"sort"
|
||
"strings"
|
||
)
|
||
|
||
// 本文件是 `dedupe_group` 的**簇键**：一条记忆凭什么与另一条同簇。
|
||
// 它从 tidy_dedupe.go 拆出来只为守 AGENTS §10 的文件行数上限（≤500 行），
|
||
// 判据与注释**逐字未动**。
|
||
|
||
// dedupeClusterKeys 返回一条记忆的簇键（tag 集 / 前 12 字）。两条判据都可能不成立
|
||
// （tag 集不合格 / 内容短于 12 字），那时只返回另一条。
|
||
func dedupeClusterKeys(it MemoryItem) []tidyDedupeKey {
|
||
out := make([]tidyDedupeKey, 0, 2)
|
||
if key := dedupeTagKey(it); key != "" {
|
||
out = append(out, tidyDedupeKey{rule: tidyDedupeRuleTagSet, key: key})
|
||
}
|
||
if key := dedupePrefixKey(it); key != "" {
|
||
out = append(out, tidyDedupeKey{rule: tidyDedupeRulePrefix, key: key})
|
||
}
|
||
return out
|
||
}
|
||
|
||
// dedupeTagKey 是「同分区 + 同 kind + 完全相同 tag 集」的键。tag 集为空/太通用时返回空串。
|
||
//
|
||
// 键里带**分区**（persona/scope/project）与 kind，两个都是**纵深防御**：
|
||
// - 调用方本来就按分区逐块调用（design/23 §6「分区之间永不比较」），但候选键
|
||
// 自带分区后，任何跨分区的输入（手工调用、将来别的入口）也**无法成簇** ——
|
||
// 跨 scope 收敛是塔已明确不做的那一批，它不许只靠调用纪律保证；
|
||
// - kind 是**内容类别**（relationship / world_event）：跨 kind 的簇合并会顺手改掉
|
||
// 被吸收行的分类语义，而分类改动只该走 reclassify（§5.1 T0-6）。
|
||
func dedupeTagKey(it MemoryItem) string {
|
||
tags := normalizedTidyTags(it.Tags)
|
||
if len(tags) < dedupeGroupMinTagCount {
|
||
return ""
|
||
}
|
||
for _, tag := range tags {
|
||
if len([]rune(tag)) < dedupeGroupMinTagRunes {
|
||
return ""
|
||
}
|
||
}
|
||
return dedupePartitionPrefix(it) + string(it.Kind) + "\x1f" + strings.Join(tags, "\x1e")
|
||
}
|
||
|
||
// dedupePartitionPrefix 是簇键里的分区段（persona + scope + project）。
|
||
func dedupePartitionPrefix(it MemoryItem) string {
|
||
return it.PersonaID + "\x1e" + string(it.Scope) + "\x1e" + it.ProjectID + "\x1e"
|
||
}
|
||
|
||
// normalizedTidyTags 归一化 tag 集：去空白、去空项、去重、排序。排序是幂等键稳定
|
||
// 的前提（同一 tag 集的不同书写顺序必须落到同一个键）。
|
||
func normalizedTidyTags(tags []string) []string {
|
||
if len(tags) == 0 {
|
||
return nil
|
||
}
|
||
seen := make(map[string]struct{}, len(tags))
|
||
out := make([]string, 0, len(tags))
|
||
for _, tag := range tags {
|
||
t := strings.TrimSpace(tag)
|
||
if t == "" {
|
||
continue
|
||
}
|
||
if _, dup := seen[t]; dup {
|
||
continue
|
||
}
|
||
seen[t] = struct{}{}
|
||
out = append(out, t)
|
||
}
|
||
sort.Strings(out)
|
||
return out
|
||
}
|
||
|
||
// dedupePrefixKey 是「**同分区同 kind** + 前 12 个字相同」的键（按**归一化正文**取前 12 个 rune）。
|
||
//
|
||
// 归一化复用 dedupeKey（小写 + 空白折叠）：`助手名为 Cyrene。` 与 `助手名为 Cyrene`
|
||
// 不该因为多一个空格就落到两个簇。
|
||
//
|
||
// 短于 12 字的内容返回空串**而不受理**：那时「前 12 字」等于全文，簇会退化成
|
||
// 「逐字重复」——那是 §15 D3-2 T0-1 的 `skip`（入库闸）与 `merge`（字面重复自动档）
|
||
// 已经在管的事，不需要第二个动作重复它。
|
||
func dedupePrefixKey(it MemoryItem) string {
|
||
runes := []rune(dedupeKey(it.Content))
|
||
if len(runes) < dedupeGroupPrefixRunes {
|
||
return ""
|
||
}
|
||
return dedupePartitionPrefix(it) + string(it.Kind) + "\x1f" + string(runes[:dedupeGroupPrefixRunes])
|
||
}
|