 AskaEth
|
7700a7eda0
|
fix(memory): dedupe_group 补中文数字门（量纲/单位归一），修 r2 复审 p2
r2 复审 p2：`sameNumbers` 只抽 ASCII 数字 token，而本语料的数字主要写成中文
（一小时 / 十五分钟 / 第二杯 / 三千次轮回）⇒「午睡一小时 vs 十五分钟」
「咖啡不续第二杯 vs 不超过一杯」这类**数值冲突**被当成同一事实合并。
修法（新文件 internal/runtime/memory/tidy_dedupe_numbers.go）：
- 抽出「**中文数字 + 单位**」对（一~九/两/半/十/百/千/万，含十五、二十四、一万两千、
半个小时），按**量纲归一**后比较：时间=秒（分钟 60 / 小时 3600 / 天 86400 /
周 604800 / 个月 2592000 / 年 31536000）、长度=米、文字量=个、计数=个；
- 只认**后面紧跟已知单位**的数字：`一起 / 一直 / 一些 / 一样 / 第二天（序数位置）`
这类含数字的习语一律不产生数量 —— 不做成「有中文数字就不合并」；
- 判据是**冲突**而非差异：存活行在同量纲里没有对应数量 ⇒ 不算冲突（被吸收行多出
的细节）；等值（含单位换算后等值，如「半小时」=1800 秒）⇒ 照常合并；
值不等且单位换算不到一起 ⇒ 按冲突处理（复审口径：宁可不合并）；
- 只**增加否决**，不放宽任何既有门；ASCII 路径仍由 sameNumbers 先判，一字未动；
`sameNumbers` 本身也未改（judgePair/judgeIngest 共用它，属于另一处 blast radius，
已在回报里登记为后续建议）。
语料实测（生产库只读 mode=ro，active 3667）：999 对里中文数字门挡掉 **17 对**，
其中真冲突：午睡十五分钟 vs 一小时 ×3、咖啡一杯 vs 第二杯 ×4、
「三千次轮回」vs「三千万次轮回」×1（ASCII 路径完全看不见这条）；
其余 9 对是「单位不可换算」的保守拒绝（半碗 vs 一个包/一杯、一次 vs 两圈）。
dedupe 产出 255 簇/505 行 → **250 簇/495 行（13.5%）**。
回归用例（去掉这道门即红，已实测）：
- TestDedupeGroupRejectsConflictingChineseNumbers（复审给的两对真实语料，脱敏保留原意）
- TestDedupeGroupRejectsNonConvertibleUnits（两杯 vs 三瓶 ⇒ 保守不合并）
- TestDedupeGroupSameChineseNumberStillMerges（同值/换算后同值 ⇒ 照常合并，门没退化成「有数字就不合」）
- TestTidyQuantitiesChineseNumerals（解析口径：一小时=3600s、十五分钟=900s、半小时=1800s、
一万两千行=12000、第二天/一起/一直 不产生数量）
验收：go build ./... + go vet ./... + go test ./... 全绿；-race ./internal/runtime/memory ok。
|
2026-10-25 00:41:16 +08:00 |
|
|
AskaEth
|
54e32304f2
|
fix(memory): dedupe_group 补取值门 + 临时层双击复核；闸补 3 类长期事实安全阀（M34 r1 复审）
r1 复审 p1-1（会毁数据）：tag_set 簇的安全门只有数值与否定，**专有名词/引号取值不比**，
生产语料实测把 `用户的昵称是「叶酱」。` 并进 `主人的昵称是「喵喵七号」…` 的存活行，
而同库另有 4 行写着「喵喵七号已作废、应称叶酱」⇒ 一次 apply 丢掉当前事实。
修法（结构性，不是补丁）：
- 新增取值门 tidy_dedupe_values.go：被吸收行的**引号取值**（「」『』“”‘’"）与
**拉丁 token**（≥2 字母，含 h3R3 这类混排）必须在存活行正文中一个不少；
方向单向（被吸收 ⊆ 存活），与软合并语义同向（存活行多出的取值不会丢）。
补齐 design/23 §5.1-3 要求的「专有名词 / 数值 / 否定词」三件套里缺的第一件。
- tag_set 簇也过相似度下限（dedupeGroupMinSimilarity 两档统一）。取值 0.10 而非更高：
语料实测 tag_set 合法改写（`用户可能需要提醒吃早饭…` 0.047、`叶酱有工作…` 0.109）
的余弦本来就在 0.05~0.4 —— 抬高它只会删掉合法去重，不会多挡住危险对。
实测（503 对）：0.10→保留 98%、0.20→86%、0.30→63%、0.40→40%、0.50→20%。
- 回归用例：TestDedupeGroupRejectsSameTagDifferentValue（脱敏真实语料 + 同值对照组）、
TestDedupeGroupLatinTokenIsAlsoAValue、TestDedupeGroupNeverLosesAValue（簇级不变式）、
TestDedupeGroupTagSetAlsoNeedsSimilarityFloor。去掉取值门 ⇒ 前三条红；把 tag 相似度
归零 ⇒ 第四条红。
r1 复审 p2-1（数据安全）：元信息查询失败时**该分区本轮不分簇**（旧实现降级成 nil map，
`temporary` 恒 false ⇒ 绕开「临时行绝不进簇」红线）；apply 侧补 `expires_at` 复核
（候选久置/生成后变临时 ⇒ 整簇 skip，tidySkipTemporaryRow）。用例：
TestDedupeInPartitionSkipsWhenMetaUnavailable、TestTidyApplyDedupeGroupSkipsTemporaryRows。
r1 复审 p2-2（闸误杀被低报）：补三类安全阀 ——「以后/从此/往后/今后」= 自此刻起永久成立、
「换成/变成/改成/搬进」= 状态已改变且新状态持续、N7 的进行中标记同样必须句首 12 字内；
「宿舍」进长期事实词表；顺手修 `<=` 的 off-by-one（改为 `<`）。
实测（生产库只读 mode=ro，active 3667）：
- dedupe：281 簇/594 行 → **255 簇/505 行（13.8%）**；tag_set 240 / prefix12 15；
取值门挡 76 对、相似度门挡 12 对；簇大小 2:155 3:48 4:26 5:8 6:7 7:4 8:2 9:2 18:1 20:2
（两个 20 行簇与 18 行簇的取值集合均为单一「喵喵七号」⇒ 大簇=同一事实的重写）。
- 闸：改前 2 (0.05%) → 改后 **75 (2.05%)**（n6 53 / n7 20 / n1 2）；含锚点词的 27 条
逐条人读均为「约定明天中午见 / 下周留个午后」类到期即失效的安排。
- 达标代价：+目前/现在 当锚点 → 2.13%；再叠一次性事件动词表（曾/发来/分享…）→ 6.74%
且新增 172 条里 56 条是长期身份/里程碑（「i love you 文件」17 条、「海报就是助手本人」
10 条…）⇒ 仍到不了 8%，不许为凑区间放宽。
验收：go build ./... + go vet ./... + go test ./... 全绿；-race ./internal/runtime/memory ok。
|
2026-10-25 00:29:02 +08:00 |
|
|
AskaEth
|
6a3f3a329a
|
feat(memory): dedupe_group 候选动作 + 留存闸组合口径与 N6/N7 时点规则（M34）
M27 体检（DevDocs/audit/记忆库价值体检-2026-10-24.md）两条根治项：
1) 新增 `dedupe_group` 候选动作（不放大 containNone）：
- 簇只认「同 scope+kind+完全相同 tag 集」或「同 scope+kind+前 12 字相同」
（后者附加词项余弦 ≥0.70 与同 kind 收窄）；
- 每簇保留超集：内容最长 > merge_count 大 > created_at 早 > id；
- 安全门与既有合并路径同源：受限来源/绝对时刻/时效状态/低置信一律不进簇，
数值与否定与存活行不一致的成员被逐条剔出；临时层行（expires_at 非空）
两个方向都不进簇（存活行被清扫会给被吸收行留悬空 merged_into）；
- 已被 archive/merge 候选覆盖的条目不重复出第二条待办（抑制）；
- 落库形态与 merge 同构：source_ids 多条 + target_id，应用为整簇原子的软合并，
回滚复用 revertTidyMerge（逐条复原）；
- 批量应用按**行**计上限 200 行/批（maxTidyApplyRowsPerBatch），超限如实 truncated；
- 不进自动档（人工/批量点）；试算（DryRun）零写库给出簇数与可减少行数。
2) 留存闸改组合口径（治根）+ N6/N7：
- 护栏②从「含习惯/约定词就一票放行」改为「锚点词 **且** 含具体约束
（数字/禁忌/频次规律）」；无约束的锚点交给更窄的规则判；
- N1/N3/N4/N5 这几条词项规则改为「无锚点时才开火」（`主人喜欢说晚安`
这类偏好不再因寒暄词被判临时）；
- 新增 N6（指示性时点，句首前 12 字内）与 N7（进行中状态），安全阀：习惯词、
硬性长期事实词、数值/约束、寒暄/情绪词一律按回去；
- 命中即第五态 defer，`expires_at = 判定时刻 + tempTtlSec`（默认 7 天，
已落在 $DATA_DIR/config/memory-tidy.json，零新 .env 键）；**只开新增侧**，
存量一条不补写（用例钉住）。
契约（加性，不改既有字段语义）：tidy dry-run/run 回执加 dedupeGroups /
dedupeRowsReducible / dedupeTruncated；批量应用回执加 deduped / rowsAffected。
实测（生产库只读 mode=ro，active 3667）：
- 闸：改前 2 条(0.05%) → 改后 89 条(2.43%)：n6 58 / n7 29 / n1 2；
89 条里 30 条含锚点词，逐条人读均为「约定明天中午见」「约定下周留个午后」
这类到期即失效的安排（唯一可议：1 条把「中午互动的日常」一起带进临时层）。
- dedupe_group：281 簇 / 可减 594 行（16.2% of active）；tag_set 265 / prefix12 16；
簇大小 2:170 3:48 4:27 5:10 6:10 7:7 8:2 9:2 10:1。
验收：go build ./... + go vet ./... + go test ./... 全绿。
|
2026-10-25 00:08:46 +08:00 |
|