perf(reader): M32 r2 书架索引改 level-1 校验 — 真机冷缓存首开 3.47s→0.13–0.16s(r1 全目录校验被真机证伪)

r1 用宿主 1.1µs/stat + M28 的**热** stat 150µs 外推「434 次≈65ms」,真机 drop_caches 后
实测是 3.15s(7.26ms/次),与 readdir 的 3.0s 同量级:全目录校验的索引命中冷启动仍要
3.06s,只比全扫快 0.2s。「3.0s→0.15s」在冷启动不成立。按任务 1 自己定的判据
(stat 接近 1s 就退回 level-1)改为只校验 Books 根 + 每个一级目录。

真机冷缓存实测(exFAT /usr/data/mnt/sd_0,434 目录/646 文件/595 本;sync + drop_caches;
探针走 /proc/uptime,UI 走 meow_ui_time_ms):
- 索引命中首开:**127 / 138 / 157ms**(复测 147ms),热 dentry 107–120ms;
- 全量扫描首开:**3428 / 3477ms**(复测 3711ms),热 dentry 不变(readdir 不吃 page cache);
- 探针冷分项:索引载入 20–30ms;载入+rdprog×595 70–120ms;4 个目录 stat 0–30ms;
- 从阅读页返回书架 29–31ms(M29 语义未变)。
→ 冷启动 22–26 倍提升,方案值得做;索引实测 **63,579B**(v2;r1 全目录 97,490B)。

实现(格式 v2,magic MEOWIDX2 / version 2):
- writer 回调过滤 rel 含 '/' 的目录:只落 root + 一级目录的 mtime;书/大小/格式记录仍全量;
  level-2+ 不落盘、载入不 stat。载入仍然 0 次 opendir/readdir(strace:0 getdents64,
  真实库 4 次 stat;宿主模拟库 11 次)。
- 校验记录里出现 level-2+ rel 视为坏档;sum(books_here) 改为「≤ nbooks」合理性上界。
- fail-open/原子写/CRC/安全加固/ts 不缓存全部保留(r1 已过评审的部分未动)。

失效矩阵(报文逐条写清):
自动(根 mtime):Books 根下直接增/删/改名书;一级目录新增/删除/改名。
自动(一级目录 mtime):一级目录里直接增/删/改名书、新建子目录。
必须刷新:level-2 及更深处的任何变化(只改深层目录 mtime)。刷新=删索引+全扫。
真机 exFAT mtime 实测 **1 秒**(tm_nsec=0;同秒连续增删 mtime 不变)。我复测 10 轮
「目录刚改过就扫描、同秒再改」→ 9/10 仍命中(陈旧),与评审 29/30 一致;sleep 跨秒后
全部正常失效。头注释已把「10ms」改为「1 秒」,并写明「不在同一秒刻度的变更靠索引失效,
同秒二次变更需刷新」。

bench 修复(P3-3):MEOW_BENCH_IDX=only —— **不预先 load/scan**,直接进书架量生产首开;
miss —— 先删索引再进书架。两者配合 drop_caches 即冷启动口径。旧行为(先 bench_index/
bench_scan 焐热)保留为默认模式。新增 test/shelf_index_probe_mipsel(write/scan/load/
loadts/statpaths/mtime/size)用于真机分项与 mtime 粒度验证,不进发行包。

测试:shelf_index_smoke 170 pass(新增:level-3/level-2 内变更「索引仍命中且先看到旧
列表 → 刷新后可见」、新建 level-2 目录自动失效、一级目录直接删书自动失效、v2 ndirs=
根+一级数);ASan+UBSan 干净;build_reader.sh 0 warning,core 6846 / seg 19 / chapter 71 /
shelf_group 63 / index 170 / font 14 / loaders PASS。真机 6 场景逐项验证:一级直接增/
新建子目录/一级改名/根下删书/一级直接删书 = 自动失效;level-3 深处新增 = 仍命中(需刷新)。

交付:app.json 0.1.5/code6 → **0.1.6/code7**;reader md5 5c848c99… 1,711,988B;
mpk md5 10d676f5… 814,574B;未签名不 push。设备验证后已清理 /tmp 与 m32probe,
真实 MeowData 的 shelf.idx 已删(app 自己的章节 .idx 未动),Books 434/646 不变,
已装 0.1.4 md5 4036b889… 未变。
This commit is contained in:
AskaEth committed 2026-11-10 18:49:48 +08:00
1 parent e0dfab95c3
commit 58f2d9bff4
10 files changed
+309 -57

No files matched your search

+28 -2
View File
@@ -2,9 +2,12 @@
*
* 用法:
* ./shelf_index_bench_host [bench|indexonly] [root]
* bench —— 建虚拟书库(默认 452 目录 / 688 本,贴合真机 434/595 量级)并计时
* bench —— 建虚拟书库(434 目录 / 595 本 / 51 个 .rar,贴真机量级)并计时
* indexonly —— 只载入已有索引一次(供 `strace -e getdents64` 断言「载入不 readdir」)
*
* v2 校验范围 = Books 根 + 一级目录(真机冷缓存 4 次 stat ≈20ms;434 次=3.15s,已弃用)。
* 宿主数字只用于看相对成本/调用次数;真机绝对值见 M32 r2 报文(drop_caches 实测)。
*
* 为什么宿主数字不能直接当真机用:宿主是 ext4/f2fs 热缓存(每次 stat ~1µs),真机 TF 卡是
* exFAT(M28 实测 1079 次 stat = 160–170ms,约 150µs/次)。本工具用来量**调用次数与代码路径**
* 的相对成本;绝对毫秒按 M28 的每次 stat/条目成本外推(见报文)。
@@ -180,7 +183,7 @@ int main(int argc, char **argv)
int nfiles = count_files(root, 0);
printf("library: %s (%s) dirs=%d files=%d\n", root, created ? "created" : "reused", nd, nfiles);
/* ① 目录逐个 stat(校验索引的唯一 IO) */
/* ① 目录逐个 stat(v1 全目录校验的代价;已弃用,留作对照:真机冷缓存 3.15s) */
struct stat st;
int reps = 20;
double t0 = now_ms();
@@ -190,6 +193,29 @@ int main(int argc, char **argv)
printf("stat_all_dirs: %d x%d = %.2f ms total, %.3f ms/pass, %.2f us/stat\n",
nd, reps, t1 - t0, (t1 - t0) / reps, (t1 - t0) * 1000.0 / (reps * nd));
/* ①b v2 实际校验成本:只 stat Books 根 + 一级目录 */
static char l1[64][512];
int nl1 = 0;
snprintf(l1[nl1++], 512, "%s", root);
DIR *ld = opendir(root);
if (ld) {
struct dirent *e;
while ((e = readdir(ld)) && nl1 < 64) {
if (e->d_name[0] == '.') continue;
char p[512];
snprintf(p, sizeof p, "%s/%s", root, e->d_name);
struct stat t;
if (stat(p, &t) == 0 && S_ISDIR(t.st_mode)) snprintf(l1[nl1++], 512, "%s", p);
}
closedir(ld);
}
t0 = now_ms();
for (int r = 0; r < reps; r++)
for (int i = 0; i < nl1; i++) stat(l1[i], &st);
t1 = now_ms();
printf("stat_level1: %d dirs (root + level-1) x%d = %.3f ms/pass, %.2f us/stat\n",
nl1, reps, (t1 - t0) / reps, (t1 - t0) * 1000.0 / (reps * nl1));
/* ② 全量扫描(无 ts) */
double best_scan = 1e9, best_save = 1e9;
int n = 0;