 AskaEth
|
58f2d9bff4
|
perf(reader): M32 r2 书架索引改 level-1 校验 — 真机冷缓存首开 3.47s→0.13–0.16s（r1 全目录校验被真机证伪）
r1 用宿主 1.1µs/stat + M28 的**热** stat 150µs 外推「434 次≈65ms」，真机 drop_caches 后
实测是 3.15s（7.26ms/次），与 readdir 的 3.0s 同量级：全目录校验的索引命中冷启动仍要
3.06s，只比全扫快 0.2s。「3.0s→0.15s」在冷启动不成立。按任务 1 自己定的判据
（stat 接近 1s 就退回 level-1）改为只校验 Books 根 + 每个一级目录。
真机冷缓存实测（exFAT /usr/data/mnt/sd_0，434 目录/646 文件/595 本；sync + drop_caches；
探针走 /proc/uptime，UI 走 meow_ui_time_ms）：
- 索引命中首开：**127 / 138 / 157ms**（复测 147ms），热 dentry 107–120ms；
- 全量扫描首开：**3428 / 3477ms**（复测 3711ms），热 dentry 不变（readdir 不吃 page cache）；
- 探针冷分项：索引载入 20–30ms；载入+rdprog×595 70–120ms；4 个目录 stat 0–30ms；
- 从阅读页返回书架 29–31ms（M29 语义未变）。
→ 冷启动 22–26 倍提升，方案值得做；索引实测 **63,579B**（v2；r1 全目录 97,490B）。
实现（格式 v2，magic MEOWIDX2 / version 2）：
- writer 回调过滤 rel 含 '/' 的目录：只落 root + 一级目录的 mtime；书/大小/格式记录仍全量；
level-2+ 不落盘、载入不 stat。载入仍然 0 次 opendir/readdir（strace：0 getdents64，
真实库 4 次 stat；宿主模拟库 11 次）。
- 校验记录里出现 level-2+ rel 视为坏档；sum(books_here) 改为「≤ nbooks」合理性上界。
- fail-open/原子写/CRC/安全加固/ts 不缓存全部保留（r1 已过评审的部分未动）。
失效矩阵（报文逐条写清）：
自动（根 mtime）：Books 根下直接增/删/改名书；一级目录新增/删除/改名。
自动（一级目录 mtime）：一级目录里直接增/删/改名书、新建子目录。
必须刷新：level-2 及更深处的任何变化（只改深层目录 mtime）。刷新=删索引+全扫。
真机 exFAT mtime 实测 **1 秒**（tm_nsec=0；同秒连续增删 mtime 不变）。我复测 10 轮
「目录刚改过就扫描、同秒再改」→ 9/10 仍命中（陈旧），与评审 29/30 一致；sleep 跨秒后
全部正常失效。头注释已把「10ms」改为「1 秒」，并写明「不在同一秒刻度的变更靠索引失效，
同秒二次变更需刷新」。
bench 修复（P3-3）：MEOW_BENCH_IDX=only —— **不预先 load/scan**，直接进书架量生产首开；
miss —— 先删索引再进书架。两者配合 drop_caches 即冷启动口径。旧行为（先 bench_index/
bench_scan 焐热）保留为默认模式。新增 test/shelf_index_probe_mipsel（write/scan/load/
loadts/statpaths/mtime/size）用于真机分项与 mtime 粒度验证，不进发行包。
测试：shelf_index_smoke 170 pass（新增：level-3/level-2 内变更「索引仍命中且先看到旧
列表 → 刷新后可见」、新建 level-2 目录自动失效、一级目录直接删书自动失效、v2 ndirs=
根+一级数）；ASan+UBSan 干净；build_reader.sh 0 warning，core 6846 / seg 19 / chapter 71 /
shelf_group 63 / index 170 / font 14 / loaders PASS。真机 6 场景逐项验证：一级直接增/
新建子目录/一级改名/根下删书/一级直接删书 = 自动失效；level-3 深处新增 = 仍命中（需刷新）。
交付：app.json 0.1.5/code6 → **0.1.6/code7**；reader md5 5c848c99… 1,711,988B；
mpk md5 10d676f5… 814,574B；未签名不 push。设备验证后已清理 /tmp 与 m32probe，
真实 MeowData 的 shelf.idx 已删（app 自己的章节 .idx 未动），Books 434/646 不变，
已装 0.1.4 md5 4036b889… 未变。
|
2026-11-10 18:49:48 +08:00 |
|
|
AskaEth
|
e0dfab95c3
|
perf(reader): M32 书架索引落盘 — 冷启动只 stat 434 个目录 mtime，跳过 readdir（3.0s→~0.15s）
M29 只解决了「回书架不重扫」；首次进书架仍要全量扫 434 目录（真机 3.0–3.4s，
其中 opendir+readdir 占 96%）。本单把扫描结果 + 每个扫描目录的 mtime 存到
MeowData/os.meow.reader/index/shelf.idx，冷启动逐目录 stat 比对 mtime，命中即
完全跳过 readdir；任何异常一律 fail-open 全量重扫。
先量再选（任务 1）：宿主 434 目录/595 本/51 rar 虚拟库（贴真机量级）
- 434 次目录 stat = 0.48ms/pass（1.1µs/次，不含 readdir）；
- 读 72KB 索引 = 0.009ms；全量扫描 3.54ms；索引命中 1.29ms（ts_fn=NULL）。
真机按 M28 实测 1079 次 stat=160–170ms（≈150µs/次）外推：434 次 ≈ 65ms，
远低于「可能不可行」的 1s 阈值 → 选「校验全部扫描目录 mtime」（非只 level-1）。
strace 断言：indexonly 载入 0 次 getdents64、恰好 434 次 stat（真的没 readdir）。
生产路径 ≈ 65ms(stat) + <20ms(索引读) + 40–50ms(rdprog×595) + <20ms(build_rows)
≈ 0.13–0.15s（对比 3.0s）。
索引格式 v1（手工小端序列化，不依赖结构体布局）：
header(magic/version/header_size/root_len) + root + dir 记录×(rel,mtime_s,
mtime_ns,books_here) + book 记录×(rel,size,fmt) + trailer(ndirs,nbooks,flags,
depth_skipped,crc32,magic)。truncated/depth_skipped 存在 flags/字段里，载入时
如实重建提示条；**不存阅读进度 ts**，载入后每本由 rdprog_load 现读再排序。
失效语义（存每个扫描过的目录，不只 level-1）：
- level-2 新增 / level-3 深处新增 / 删书 → 该目录 mtime 变 → 重扫；
- 一级目录改名 → 父目录 mtime 变 + 旧目录 stat ENOENT → 重扫；
- 超深（>6 层）未扫描子树不在索引内，其内部变化不自动失效（本来就不显示），
点「刷新」更新 depth_skipped 计数；mtime 精度受限（exFAT 10ms/FAT32 2s）的
同刻度变更也可能漏判，点「刷新」必可纠正。
M29 语义不变：首次进书架=索引或全扫；回书架=不扫；刷新=删索引+全扫（之后原子
写回新索引）。
安全/健壮（宁可慢不可错）：
- 写：shelf.idx.tmp 全量写完（尽力 fsync）后 rename；中途被杀只剩 tmp，正式索引
要么旧要么完整新；rename 覆盖失败先删旧再改名；fflush/写错即放弃，绝不影响书架。
- 读：O_NOFOLLOW|O_NONBLOCK + S_ISREG（FIFO/符号链接直接拒绝不阻塞）；CRC32 覆盖
全部记录；rel 做绝对路径/“..”/内嵌 NUL/长度校验；版本/根路径/计数/逐目录 mtime
任一不符即重扫；载入崩溃路径全部 goto 清理，不改书架可用性。
- writer_open 失败（卡满/写保护/无 MeowData）→ 扫描不采集目录、照常出书；
commit 失败（含只读目录 rename 失败）不留正式索引。
测试：test/shelf_index_smoke 154 pass（含四种变更场景失效、截断/字节翻转/垃圾/
缺失/FIFO/符号链接/版本不符/根路径不符、ts 现读、truncated/depth_skipped 重建、
只读目录写失败、空 Books、root 缺失、.tmp 残渣），ASan+UBSan 干净；
test/shelf_index_bench 模拟 434 目录/595 本/51 rar：scan/load 均 595 本、
truncated=0/depth_skipped=0、索引 72,156B。build_reader.sh 全绿 0 warning
（core 6846 / seg 19 / chapter 71 / shelf_group 63 / index 154 / font 14 /
loaders PASS）。shelf_bench_ondev 增加 index_load/scan_save 计时与
MEOW_BENCH_IDX=miss（真机首开命中 vs 未命中对比，待有卡复核）。
交付：app.json 0.1.4/code5 → 0.1.5/code6；reader md5 df4cadcf
1,711,924B；mpk md5 fec7b1bb 814,535B；未签名不推卡。
|
2026-11-10 18:14:52 +08:00 |
|