Cyrene_v2

809 Commits 7 Branches 0 Tags

2 Commits

Include renames

Author	SHA1	Message	Date
AskaEth	01aff71bc1	fix(memory): dedupe_group 数值门改三态（归一后同值可合 / 同量纲不同值冲突 / 量纲不可比保守拒），修 r3 复审两项 r3 复审指出我第一版中文数字门两个方向都反了（规格本身被复审自己收回重写）： - 项 2（过严）：归一后同值、中文与 ASCII 混写的两条合不了（`一小时` vs `60 分钟`、`十五分钟` vs `15 分钟`）。根因是判定仍以 `sameNumbers` （只抽 ASCII token）为闸：`{}` vs `{60}` 不等 ⇒ 直接否决，归一化没机会生效。 - 项 3（过松）：量纲不可比（`一小时` vs `一杯`）被当成"不算冲突"⇒ 会合并，与「比不了单位就不许合并」相反。修法：数值门从「布尔冲突」改成三态，并取代 `sameNumbers` 作为 dedupe 的数值判据： \| 结果 \| 含义 \| 合并 \| \|---\|---\|---\| \| tidyNumberSame \| 归一后同值（含中英混写、单位换算：一小时 ≡ 60 分钟） \| ✅ \| \| tidyNumberConflict \| 同量纲、值不相等（含单位不可互换：两杯 vs 三瓶） \| ❌ \| \| tidyNumberIncomparable \| 量纲不可比 / 存活行没有同量纲数量可比（一小时 vs 一杯） \| ❌ 保守拒绝 \| 配套： - 数量抽取同时支持 ASCII 与中文数字 + 单位（`60 分钟` / `15分钟` / `十五分钟` / `半个小时` / `一万两千行`），并新增 `字符`/`字节` 两个文字量单位； - 裸数字 token（无单位）仍按 `sameNumbers` 的集合相等口径判（`0023` vs `0024` 这类靠它拦住），并有 parity 用例钉住「与 extractTidyFacts 的 nums 逐项一致」； - 三态里 `incomparable` 只收紧，不放宽任何既有门；`sameNumbers` 函数本身未改（judgePair/judgeIngest 共用，另处 blast radius，已登记建议）。回归用例（三态各一条 + 修前红/修后绿，均实测）： - TestDedupeGroupNumberGateThreeStates 四个子用例（两条同值含混写、同量纲不同值、量纲不可比），同时断言判定与簇结果； · 变异 = 退回 `sameNumbers`（项 2 旧行为）⇒ 两条「同值」子用例红； · 变异 = 不可比当放行（项 3 旧行为）⇒ 「量纲不可比」子用例红。 - TestDedupeGroupRejectsConflictingChineseNumbers / RejectsNonConvertibleUnits / SameChineseNumberStillMerges（r2 三项保持绿）+ TestTidyQuantitiesNumberParsing + TestScanTidyNumbersBareTokensMatchExistingFactNums（裸 token 口径不变）。语料实测（生产库只读 mode=ro，active 3667，999 对已过否定/取值/相似度门的成员对）：三态分布 same=942 / conflict=25 / incomparable=32；dedupe 产出 `250 簇/495 行` → 248 簇/489 行（13.3%）。incomparable 那 32 对是「四行歌词 vs 一段歌词」「一个项目进度代号 vs 项目进度代号为「w49」」这类：按「比不了就不许合并」一律拒绝，聚合上只少减 6 行（簇成员互有重叠）。验收：go build ./... + go vet ./... + go test ./... 全绿；-race ./internal/runtime/memory ok。	2026-10-25 00:49:44 +08:00
AskaEth	7700a7eda0	fix(memory): dedupe_group 补中文数字门（量纲/单位归一），修 r2 复审 p2 r2 复审 p2：`sameNumbers` 只抽 ASCII 数字 token，而本语料的数字主要写成中文（一小时 / 十五分钟 / 第二杯 / 三千次轮回）⇒「午睡一小时 vs 十五分钟」「咖啡不续第二杯 vs 不超过一杯」这类数值冲突被当成同一事实合并。修法（新文件 internal/runtime/memory/tidy_dedupe_numbers.go）： - 抽出「中文数字 + 单位」对（一~九/两/半/十/百/千/万，含十五、二十四、一万两千、半个小时），按量纲归一后比较：时间=秒（分钟 60 / 小时 3600 / 天 86400 / 周 604800 / 个月 2592000 / 年 31536000）、长度=米、文字量=个、计数=个； - 只认后面紧跟已知单位的数字：`一起 / 一直 / 一些 / 一样 / 第二天（序数位置）` 这类含数字的习语一律不产生数量 —— 不做成「有中文数字就不合并」； - 判据是冲突而非差异：存活行在同量纲里没有对应数量 ⇒ 不算冲突（被吸收行多出的细节）；等值（含单位换算后等值，如「半小时」=1800 秒）⇒ 照常合并；值不等且单位换算不到一起 ⇒ 按冲突处理（复审口径：宁可不合并）； - 只增加否决，不放宽任何既有门；ASCII 路径仍由 sameNumbers 先判，一字未动； `sameNumbers` 本身也未改（judgePair/judgeIngest 共用它，属于另一处 blast radius，已在回报里登记为后续建议）。语料实测（生产库只读 mode=ro，active 3667）：999 对里中文数字门挡掉 17 对，其中真冲突：午睡十五分钟 vs 一小时 ×3、咖啡一杯 vs 第二杯 ×4、「三千次轮回」vs「三千万次轮回」×1（ASCII 路径完全看不见这条）；其余 9 对是「单位不可换算」的保守拒绝（半碗 vs 一个包/一杯、一次 vs 两圈）。 dedupe 产出 255 簇/505 行 → 250 簇/495 行（13.5%）。回归用例（去掉这道门即红，已实测）： - TestDedupeGroupRejectsConflictingChineseNumbers（复审给的两对真实语料，脱敏保留原意） - TestDedupeGroupRejectsNonConvertibleUnits（两杯 vs 三瓶 ⇒ 保守不合并） - TestDedupeGroupSameChineseNumberStillMerges（同值/换算后同值 ⇒ 照常合并，门没退化成「有数字就不合」） - TestTidyQuantitiesChineseNumerals（解析口径：一小时=3600s、十五分钟=900s、半小时=1800s、一万两千行=12000、第二天/一起/一直不产生数量）验收：go build ./... + go vet ./... + go test ./... 全绿；-race ./internal/runtime/memory ok。	2026-10-25 00:41:16 +08:00

Author

SHA1

Message

Date

AskaEth

01aff71bc1

fix(memory): dedupe_group 数值门改三态（归一后同值可合 / 同量纲不同值冲突 / 量纲不可比保守拒），修 r3 复审两项

r3 复审指出我第一版中文数字门两个方向都反了（规格本身被复审自己收回重写）：

- 项 2（过严）：归一后**同值**、中文与 ASCII 混写的两条合不了
  （`一小时` vs `60 分钟`、`十五分钟` vs `15 分钟`）。根因是判定仍以 `sameNumbers`
  （只抽 ASCII token）为闸：`{}` vs `{60}` 不等 ⇒ 直接否决，归一化没机会生效。
- 项 3（过松）：**量纲不可比**（`一小时` vs `一杯`）被当成"不算冲突"⇒ 会合并，
  与「比不了单位就不许合并」相反。

修法：数值门从「布尔冲突」改成**三态**，并取代 `sameNumbers` 作为 dedupe 的数值判据：

| 结果 | 含义 | 合并 |
|---|---|---|
| tidyNumberSame | 归一后同值（含中英混写、单位换算：一小时 ≡ 60 分钟） | ✅ |
| tidyNumberConflict | 同量纲、值不相等（含单位不可互换：两杯 vs 三瓶） | ❌ |
| tidyNumberIncomparable | 量纲不可比 / 存活行没有同量纲数量可比（一小时 vs 一杯） | ❌ 保守拒绝 |

配套：
- 数量抽取同时支持 **ASCII 与中文数字 + 单位**（`60 分钟` / `15分钟` / `十五分钟` /
  `半个小时` / `一万两千行`），并新增 `字符`/`字节` 两个文字量单位；
- **裸数字 token（无单位）**仍按 `sameNumbers` 的集合相等口径判（`0023` vs `0024`
  这类靠它拦住），并有 parity 用例钉住「与 extractTidyFacts 的 nums 逐项一致」；
- 三态里 `incomparable` 只**收紧**，不放宽任何既有门；`sameNumbers` 函数本身未改
  （judgePair/judgeIngest 共用，另处 blast radius，已登记建议）。

回归用例（三态各一条 + 修前红/修后绿，均实测）：
- TestDedupeGroupNumberGateThreeStates 四个子用例（两条同值含混写、同量纲不同值、量纲不可比），
  同时断言判定与簇结果；
  · 变异 = 退回 `sameNumbers`（项 2 旧行为）⇒ 两条「同值」子用例红；
  · 变异 = 不可比当放行（项 3 旧行为）⇒ 「量纲不可比」子用例红。
- TestDedupeGroupRejectsConflictingChineseNumbers / RejectsNonConvertibleUnits /
  SameChineseNumberStillMerges（r2 三项保持绿）+ TestTidyQuantitiesNumberParsing +
  TestScanTidyNumbersBareTokensMatchExistingFactNums（裸 token 口径不变）。

语料实测（生产库只读 mode=ro，active 3667，999 对已过否定/取值/相似度门的成员对）：
三态分布 same=942 / conflict=25 / incomparable=32；dedupe 产出
`250 簇/495 行` → **248 簇/489 行（13.3%）**。incomparable 那 32 对是「四行歌词 vs
一段歌词」「一个项目进度代号 vs 项目进度代号为「w49」」这类：按「比不了就不许合并」
一律拒绝，聚合上只少减 6 行（簇成员互有重叠）。

验收：go build ./... + go vet ./... + go test ./... 全绿；-race ./internal/runtime/memory ok。

2026-10-25 00:49:44 +08:00

AskaEth

7700a7eda0

fix(memory): dedupe_group 补中文数字门（量纲/单位归一），修 r2 复审 p2

r2 复审 p2：`sameNumbers` 只抽 ASCII 数字 token，而本语料的数字主要写成中文
（一小时 / 十五分钟 / 第二杯 / 三千次轮回）⇒「午睡一小时 vs 十五分钟」
「咖啡不续第二杯 vs 不超过一杯」这类**数值冲突**被当成同一事实合并。

修法（新文件 internal/runtime/memory/tidy_dedupe_numbers.go）：
- 抽出「**中文数字 + 单位**」对（一~九/两/半/十/百/千/万，含十五、二十四、一万两千、
  半个小时），按**量纲归一**后比较：时间=秒（分钟 60 / 小时 3600 / 天 86400 /
  周 604800 / 个月 2592000 / 年 31536000）、长度=米、文字量=个、计数=个；
- 只认**后面紧跟已知单位**的数字：`一起 / 一直 / 一些 / 一样 / 第二天（序数位置）`
  这类含数字的习语一律不产生数量 —— 不做成「有中文数字就不合并」；
- 判据是**冲突**而非差异：存活行在同量纲里没有对应数量 ⇒ 不算冲突（被吸收行多出
  的细节）；等值（含单位换算后等值，如「半小时」=1800 秒）⇒ 照常合并；
  值不等且单位换算不到一起 ⇒ 按冲突处理（复审口径：宁可不合并）；
- 只**增加否决**，不放宽任何既有门；ASCII 路径仍由 sameNumbers 先判，一字未动；
  `sameNumbers` 本身也未改（judgePair/judgeIngest 共用它，属于另一处 blast radius，
  已在回报里登记为后续建议）。

语料实测（生产库只读 mode=ro，active 3667）：999 对里中文数字门挡掉 **17 对**，
其中真冲突：午睡十五分钟 vs 一小时 ×3、咖啡一杯 vs 第二杯 ×4、
「三千次轮回」vs「三千万次轮回」×1（ASCII 路径完全看不见这条）；
其余 9 对是「单位不可换算」的保守拒绝（半碗 vs 一个包/一杯、一次 vs 两圈）。
dedupe 产出 255 簇/505 行 → **250 簇/495 行（13.5%）**。

回归用例（去掉这道门即红，已实测）：
- TestDedupeGroupRejectsConflictingChineseNumbers（复审给的两对真实语料，脱敏保留原意）
- TestDedupeGroupRejectsNonConvertibleUnits（两杯 vs 三瓶 ⇒ 保守不合并）
- TestDedupeGroupSameChineseNumberStillMerges（同值/换算后同值 ⇒ 照常合并，门没退化成「有数字就不合」）
- TestTidyQuantitiesChineseNumerals（解析口径：一小时=3600s、十五分钟=900s、半小时=1800s、
  一万两千行=12000、第二天/一起/一直 不产生数量）

验收：go build ./... + go vet ./... + go test ./... 全绿；-race ./internal/runtime/memory ok。

2026-10-25 00:41:16 +08:00