perf(reader): M32 r2 书架索引改 level-1 校验 — 真机冷缓存首开 3.47s→0.13–0.16s(r1 全目录校验被真机证伪)
r1 用宿主 1.1µs/stat + M28 的**热** stat 150µs 外推「434 次≈65ms」,真机 drop_caches 后 实测是 3.15s(7.26ms/次),与 readdir 的 3.0s 同量级:全目录校验的索引命中冷启动仍要 3.06s,只比全扫快 0.2s。「3.0s→0.15s」在冷启动不成立。按任务 1 自己定的判据 (stat 接近 1s 就退回 level-1)改为只校验 Books 根 + 每个一级目录。 真机冷缓存实测(exFAT /usr/data/mnt/sd_0,434 目录/646 文件/595 本;sync + drop_caches; 探针走 /proc/uptime,UI 走 meow_ui_time_ms): - 索引命中首开:**127 / 138 / 157ms**(复测 147ms),热 dentry 107–120ms; - 全量扫描首开:**3428 / 3477ms**(复测 3711ms),热 dentry 不变(readdir 不吃 page cache); - 探针冷分项:索引载入 20–30ms;载入+rdprog×595 70–120ms;4 个目录 stat 0–30ms; - 从阅读页返回书架 29–31ms(M29 语义未变)。 → 冷启动 22–26 倍提升,方案值得做;索引实测 **63,579B**(v2;r1 全目录 97,490B)。 实现(格式 v2,magic MEOWIDX2 / version 2): - writer 回调过滤 rel 含 '/' 的目录:只落 root + 一级目录的 mtime;书/大小/格式记录仍全量; level-2+ 不落盘、载入不 stat。载入仍然 0 次 opendir/readdir(strace:0 getdents64, 真实库 4 次 stat;宿主模拟库 11 次)。 - 校验记录里出现 level-2+ rel 视为坏档;sum(books_here) 改为「≤ nbooks」合理性上界。 - fail-open/原子写/CRC/安全加固/ts 不缓存全部保留(r1 已过评审的部分未动)。 失效矩阵(报文逐条写清): 自动(根 mtime):Books 根下直接增/删/改名书;一级目录新增/删除/改名。 自动(一级目录 mtime):一级目录里直接增/删/改名书、新建子目录。 必须刷新:level-2 及更深处的任何变化(只改深层目录 mtime)。刷新=删索引+全扫。 真机 exFAT mtime 实测 **1 秒**(tm_nsec=0;同秒连续增删 mtime 不变)。我复测 10 轮 「目录刚改过就扫描、同秒再改」→ 9/10 仍命中(陈旧),与评审 29/30 一致;sleep 跨秒后 全部正常失效。头注释已把「10ms」改为「1 秒」,并写明「不在同一秒刻度的变更靠索引失效, 同秒二次变更需刷新」。 bench 修复(P3-3):MEOW_BENCH_IDX=only —— **不预先 load/scan**,直接进书架量生产首开; miss —— 先删索引再进书架。两者配合 drop_caches 即冷启动口径。旧行为(先 bench_index/ bench_scan 焐热)保留为默认模式。新增 test/shelf_index_probe_mipsel(write/scan/load/ loadts/statpaths/mtime/size)用于真机分项与 mtime 粒度验证,不进发行包。 测试:shelf_index_smoke 170 pass(新增:level-3/level-2 内变更「索引仍命中且先看到旧 列表 → 刷新后可见」、新建 level-2 目录自动失效、一级目录直接删书自动失效、v2 ndirs= 根+一级数);ASan+UBSan 干净;build_reader.sh 0 warning,core 6846 / seg 19 / chapter 71 / shelf_group 63 / index 170 / font 14 / loaders PASS。真机 6 场景逐项验证:一级直接增/ 新建子目录/一级改名/根下删书/一级直接删书 = 自动失效;level-3 深处新增 = 仍命中(需刷新)。 交付:app.json 0.1.5/code6 → **0.1.6/code7**;reader md5 5c848c99… 1,711,988B; mpk md5 10d676f5… 814,574B;未签名不 push。设备验证后已清理 /tmp 与 m32probe, 真实 MeowData 的 shelf.idx 已删(app 自己的章节 .idx 未动),Books 434/646 不变, 已装 0.1.4 md5 4036b889… 未变。
This commit is contained in:
1 parent
e0dfab95c3
commit
58f2d9bff4
10 files changed
+309
-57
No files matched your search
@@ -21,3 +21,4 @@
|
|||||||
*.o
|
*.o
|
||||||
*.a
|
*.a
|
||||||
/test/shelf_bench_ondev_mipsel
|
/test/shelf_bench_ondev_mipsel
|
||||||
|
/test/shelf_index_probe_mipsel
|
||||||
@@ -1 +1 @@
|
|||||||
{"name":"Reader","exec":"/usr/data/mnt/sd_0/MeowAPPs/os.meow.reader/reader","package":"os.meow.reader","version":"0.1.5","version_code":6,"framework":1,"fonts":"common","author":"MeowOS","icon":"icon.png","volume_page":true}
|
{"name":"Reader","exec":"/usr/data/mnt/sd_0/MeowAPPs/os.meow.reader/reader","package":"os.meow.reader","version":"0.1.6","version_code":7,"framework":1,"fonts":"common","author":"MeowOS","icon":"icon.png","volume_page":true}
|
||||||
@@ -23,9 +23,11 @@
|
|||||||
* M31:置顶时一并重算这本的副题(shelf_fmt_sub),「· 读」立即出现,不等下一次全量刷新;
|
* M31:置顶时一并重算这本的副题(shelf_fmt_sub),「· 读」立即出现,不等下一次全量刷新;
|
||||||
* 顶栏「刷新」同时丢弃字体路径缓存(新拷入的字库此时生效)。
|
* 顶栏「刷新」同时丢弃字体路径缓存(新拷入的字库此时生效)。
|
||||||
* M32:书架索引落盘(app/shelf_index.c)。冷启动先试 `MeowData/os.meow.reader/index/shelf.idx`:
|
* M32:书架索引落盘(app/shelf_index.c)。冷启动先试 `MeowData/os.meow.reader/index/shelf.idx`:
|
||||||
* 版本/CRC/root 路径/全部目录 mtime 校验通过 → 直接出书,**完全跳过 readdir**
|
* 版本、CRC、root 路径、**Books 根 + 一级目录** 的 mtime 校验通过 → 直接出书,**完全跳过 readdir**。
|
||||||
* (真机全量扫描 3.0s 的 96% 是 434 个目录的 opendir+readdir;校验只做 434 次 stat);
|
* 真机冷缓存实测 434 个目录逐个 stat 要 3.15s(与 readdir 同量级),所以只校验
|
||||||
* 任何异常 → 照常全量重扫(fail-open)。扫描完成后原子写回索引(写失败只丢缓存,不影响书架)。
|
* 根 + 一级目录(4 次 stat ≈20ms);代价是 level-2 及更深处的变更不会自动失效,
|
||||||
|
* 需点「刷新」(与 M29「新书靠刷新」同一约定)。任何异常 → 照常全量重扫(fail-open)。
|
||||||
|
* 扫描完成后原子写回索引(写失败只丢缓存,不影响书架)。
|
||||||
* M29 语义不变:首次进书架=索引或全扫;从阅读页返回=不扫;顶栏「刷新」=清索引+全扫。
|
* M29 语义不变:首次进书架=索引或全扫;从阅读页返回=不扫;顶栏「刷新」=清索引+全扫。
|
||||||
*/
|
*/
|
||||||
#include "../reader_internal.h"
|
#include "../reader_internal.h"
|
||||||
@@ -122,7 +124,8 @@ static void scan_books_full(void)
|
|||||||
{
|
{
|
||||||
const char *dir = READER_SD_ROOT "/Books";
|
const char *dir = READER_SD_ROOT "/Books";
|
||||||
shelf_scan_report rep;
|
shelf_scan_report rep;
|
||||||
/* 扫描时把每个目录的 mtime 直接流进索引临时文件,不占额外内存、也不二次 readdir。 */
|
/* 扫描时把根 + 一级目录的 mtime 直接流进索引临时文件(level-2+ 由 writer 过滤掉),
|
||||||
|
* 不占额外内存、也不二次 readdir。 */
|
||||||
shelf_idx_writer *w = shelf_index_writer_open(dir);
|
shelf_idx_writer *w = shelf_index_writer_open(dir);
|
||||||
g_nbooks = shelf_scan_books_ex(dir, g_books, SHELF_MAX_BOOKS, shelf_ts_of, &rep,
|
g_nbooks = shelf_scan_books_ex(dir, g_books, SHELF_MAX_BOOKS, shelf_ts_of, &rep,
|
||||||
w ? shelf_index_writer_dir : NULL, w);
|
w ? shelf_index_writer_dir : NULL, w);
|
||||||
@@ -341,7 +344,8 @@ static void shelf_on_enter(meow_view *v, void *ctx)
|
|||||||
g_group_folder = (c && strcmp(c->shelf_group, "folder") == 0) ? 1 : 0;
|
g_group_folder = (c && strcmp(c->shelf_group, "folder") == 0) ? 1 : 0;
|
||||||
/* 书架缓存:本进程只在首次进入时取一次 Books/(从阅读页返回不再重扫)。
|
/* 书架缓存:本进程只在首次进入时取一次 Books/(从阅读页返回不再重扫)。
|
||||||
* M32:首次先试索引(命中=只 stat 目录,跳过 readdir);索引不可用才全量扫描。
|
* M32:首次先试索引(命中=只 stat 目录,跳过 readdir);索引不可用才全量扫描。
|
||||||
* 扫描/校验在真机是 3.1s / ~0.1s 的差别(exFAT 434 目录 opendir/readdir 是扫描的唯一大头)。
|
* 真机冷缓存实测:全量扫描首开 3.43–3.48s,索引命中首开 0.13–0.16s(M32 r2 报文);
|
||||||
|
* readdir 是扫描的唯一大头,而冷缓存下 434 次 stat 也要 3.15s——所以 v2 只校验根+一级。
|
||||||
* 代价:进程内不再自动发现新书,需点顶栏「刷新」;跨进程重启则由索引 mtime 校验兜底。
|
* 代价:进程内不再自动发现新书,需点顶栏「刷新」;跨进程重启则由索引 mtime 校验兜底。
|
||||||
* M30:刚读完那本例外——promote_just_read() 只读它一个进度文件并重排,低成本置顶。
|
* M30:刚读完那本例外——promote_just_read() 只读它一个进度文件并重排,低成本置顶。
|
||||||
* 提示条(超上限截断 / 超深目录)语义不变:索引里存了这两个值,载入时如实重建。 */
|
* 提示条(超上限截断 / 超深目录)语义不变:索引里存了这两个值,载入时如实重建。 */
|
||||||
|
|||||||
@@ -1,14 +1,18 @@
|
|||||||
/* app/shelf_index.c — 书架索引落盘/校验(实现见 app/shelf_index.h)。
|
/* app/shelf_index.c — 书架索引落盘/校验(实现见 app/shelf_index.h)。
|
||||||
*
|
*
|
||||||
* 落盘格式 v1(全部小端、手工序列化,不依赖结构体布局):
|
* 落盘格式 v2(全部小端、手工序列化,不依赖结构体布局):
|
||||||
* [header 24B] "MEOWIDX1" | u32 version | u32 header_size | u32 root_len | u32 rsv
|
* [header 24B] "MEOWIDX2" | u32 version | u32 header_size | u32 root_len | u32 rsv
|
||||||
* [root bytes]
|
* [root bytes]
|
||||||
* [dir 记录 ×N] u32 rel_len | u32 books_here | u64 mtime_sec | u32 mtime_nsec | u32 rsv | rel
|
* [dir 记录 ×N] u32 rel_len | u32 books_here | u64 mtime_sec | u32 mtime_nsec | u32 rsv | rel
|
||||||
|
* 只含 Books 根(rel="")与一级目录(rel 不含 '/');level-2+ 不落盘。
|
||||||
* [book 记录 ×M] u32 rel_len | u32 size | u32 fmt | u32 rsv | rel
|
* [book 记录 ×M] u32 rel_len | u32 size | u32 fmt | u32 rsv | rel
|
||||||
* [trailer 24B] u32 ndirs | u32 nbooks | u32 flags | u32 depth_skipped | u32 crc32 | u32 magic
|
* [trailer 24B] u32 ndirs | u32 nbooks | u32 flags | u32 depth_skipped | u32 crc32 | u32 magic
|
||||||
* crc32 覆盖 [0, trailer_off)(含 header/root/全部记录),用来发现截断/坏页。
|
* crc32 覆盖 [0, trailer_off)(含 header/root/全部记录),用来发现截断/坏页。
|
||||||
* rel 一律相对 Books 根,路径做 ".."/绝对路径/内嵌 NUL 校验,杜绝索引坏档造成越界读。
|
* rel 一律相对 Books 根,路径做 ".."/绝对路径/内嵌 NUL 校验,杜绝索引坏档造成越界读。
|
||||||
*
|
*
|
||||||
|
* 校验范围只有根 + 一级目录(真机冷缓存 434 次 stat=3.15s,4 次≈20ms;见头文件)。
|
||||||
|
* level-2 及更深处的变更不会自动失效,需点「刷新」——这是本方案明确接受的代价。
|
||||||
|
*
|
||||||
* 写入顺序:临时文件 `shelf.idx.tmp` 全量写完(flash 尽力 fsync)后 rename 发布。
|
* 写入顺序:临时文件 `shelf.idx.tmp` 全量写完(flash 尽力 fsync)后 rename 发布。
|
||||||
* 扫描中途被杀只会留下 tmp(下次覆盖),正式索引要么是旧的、要么是完整新的。
|
* 扫描中途被杀只会留下 tmp(下次覆盖),正式索引要么是旧的、要么是完整新的。
|
||||||
*/
|
*/
|
||||||
@@ -31,7 +35,7 @@
|
|||||||
#define IDX_BOOK_REC_FIX 16 /* book 记录定长部分 */
|
#define IDX_BOOK_REC_FIX 16 /* book 记录定长部分 */
|
||||||
#define IDX_MAX_SIZE (8 * 1024 * 1024)
|
#define IDX_MAX_SIZE (8 * 1024 * 1024)
|
||||||
|
|
||||||
static const unsigned char IDX_MAGIC[8] = { 'M','E','O','W','I','D','X','1' };
|
static const unsigned char IDX_MAGIC[8] = { 'M','E','O','W','I','D','X','2' };
|
||||||
|
|
||||||
/* ---- 小端序列化 ---- */
|
/* ---- 小端序列化 ---- */
|
||||||
static void put32(unsigned char *p, uint32_t v)
|
static void put32(unsigned char *p, uint32_t v)
|
||||||
@@ -244,7 +248,8 @@ int shelf_index_load(const char *root, shelf_book *books, int cap,
|
|||||||
rootbuf[root_len] = 0;
|
rootbuf[root_len] = 0;
|
||||||
if (strcmp(rootbuf, root) != 0) goto done; /* 换了卡/挂载点 → 重扫 */
|
if (strcmp(rootbuf, root) != 0) goto done; /* 换了卡/挂载点 → 重扫 */
|
||||||
|
|
||||||
/* 目录记录:逐个 stat 比对 mtime(唯一允许的校验 IO,不做 readdir)。 */
|
/* 校验记录:只有 Books 根 + 一级目录(v2)。逐个 stat 比对 mtime(唯一允许的校验 IO,
|
||||||
|
* 不做 readdir)。level-2+ 的 rel 含 '/',出现在 v2 文件里即视为坏档。 */
|
||||||
uint32_t sum_here = 0;
|
uint32_t sum_here = 0;
|
||||||
for (uint32_t i = 0; i < ndirs; i++) {
|
for (uint32_t i = 0; i < ndirs; i++) {
|
||||||
unsigned char rh[IDX_DIR_REC_FIX];
|
unsigned char rh[IDX_DIR_REC_FIX];
|
||||||
@@ -260,6 +265,7 @@ int shelf_index_load(const char *root, shelf_book *books, int cap,
|
|||||||
if (rel_len > 0) crc = crc_step(crc, rel, rel_len);
|
if (rel_len > 0) crc = crc_step(crc, rel, rel_len);
|
||||||
rel[rel_len] = 0;
|
rel[rel_len] = 0;
|
||||||
if (!rel_valid(rel, (int)rel_len, 1)) goto done;
|
if (!rel_valid(rel, (int)rel_len, 1)) goto done;
|
||||||
|
if (rel_len > 0 && strchr(rel, '/')) goto done; /* v2 只允许一级 */
|
||||||
|
|
||||||
char path[400];
|
char path[400];
|
||||||
if (join_path(root, rel, (int)rel_len, path, sizeof path) != 0) goto done;
|
if (join_path(root, rel, (int)rel_len, path, sizeof path) != 0) goto done;
|
||||||
@@ -268,7 +274,7 @@ int shelf_index_load(const char *root, shelf_book *books, int cap,
|
|||||||
if (!S_ISDIR(st.st_mode)) goto done;
|
if (!S_ISDIR(st.st_mode)) goto done;
|
||||||
if ((uint64_t)(int64_t)st.st_mtime != mt_sec) goto done;
|
if ((uint64_t)(int64_t)st.st_mtime != mt_sec) goto done;
|
||||||
if ((uint32_t)(long)st.st_mtim.tv_nsec != mt_nsec) goto done;
|
if ((uint32_t)(long)st.st_mtim.tv_nsec != mt_nsec) goto done;
|
||||||
sum_here += books_here;
|
sum_here += books_here; /* 只作合理性上界:根+一级里直接放的书写数 ≤ nbooks */
|
||||||
}
|
}
|
||||||
|
|
||||||
/* 书记录 */
|
/* 书记录 */
|
||||||
@@ -299,7 +305,8 @@ int shelf_index_load(const char *root, shelf_book *books, int cap,
|
|||||||
/* 必须正好读到 trailer 起点(多/少字节都视为坏档) */
|
/* 必须正好读到 trailer 起点(多/少字节都视为坏档) */
|
||||||
if (ftell(f) != trailer_off) goto done;
|
if (ftell(f) != trailer_off) goto done;
|
||||||
if ((crc ^ 0xFFFFFFFFu) != crc_expect) goto done;
|
if ((crc ^ 0xFFFFFFFFu) != crc_expect) goto done;
|
||||||
if (sum_here != nbooks) goto done;
|
/* v2 只校验根+一级:books_here 之和是「根/一级里直接放的书写数」,不可能超过总书数。 */
|
||||||
|
if (sum_here > nbooks) goto done;
|
||||||
|
|
||||||
/* 校验全过:现读进度 ts(与全量扫描同一口径),重建副题并按最近阅读排序。 */
|
/* 校验全过:现读进度 ts(与全量扫描同一口径),重建副题并按最近阅读排序。 */
|
||||||
for (uint32_t i = 0; i < nbooks; i++) {
|
for (uint32_t i = 0; i < nbooks; i++) {
|
||||||
@@ -386,6 +393,9 @@ void shelf_index_writer_dir(void *ctx, const char *rel, int64_t mtime_sec,
|
|||||||
{
|
{
|
||||||
shelf_idx_writer *w = (shelf_idx_writer *)ctx;
|
shelf_idx_writer *w = (shelf_idx_writer *)ctx;
|
||||||
if (!w || !w->ok || !rel || books_here < 0) return;
|
if (!w || !w->ok || !rel || books_here < 0) return;
|
||||||
|
/* v2:只落 Books 根("")与一级目录(rel 不含 '/')——真机冷缓存下 434 次 stat=3.15s,
|
||||||
|
* 4 次≈20ms;level-2+ 的 mtime 不参与校验(深层变更靠「刷新」,见头文件)。 */
|
||||||
|
if (rel[0] && strchr(rel, '/')) return;
|
||||||
size_t rl = strlen(rel);
|
size_t rl = strlen(rel);
|
||||||
if (rl > IDX_REL_MAX) { w->ok = 0; return; }
|
if (rl > IDX_REL_MAX) { w->ok = 0; return; }
|
||||||
|
|
||||||
|
|||||||
@@ -1,38 +1,54 @@
|
|||||||
/* app/shelf_index.h — 书架索引落盘(M32):把一次全量扫描的结果 + 每个目录的 mtime
|
/* app/shelf_index.h — 书架索引落盘(M32):把一次全量扫描的结果 + **Books 根与一级目录**
|
||||||
* 存到 `MeowData/os.meow.reader/index/shelf.idx`,冷启动时用「逐个 stat 目录 mtime」校验,
|
* 的 mtime 存到 `MeowData/os.meow.reader/index/shelf.idx`,冷启动时只做 4 次左右的
|
||||||
* 命中就完全跳过 readdir(真机全量扫描 3.0s 的大头是 434 次 opendir+readdir)。
|
* stat 校验,命中就完全跳过 readdir。
|
||||||
*
|
*
|
||||||
* 安全优先(fail-open):版本不符 / 文件缺失 / 截断 / CRC 错 / 任一目录 mtime 变化 /
|
* 为什么只校验一级(M32 r2,真机冷缓存实测后按任务 1 的判据改):
|
||||||
* 任何 IO 错误 → shelf_index_load() 返回 0,调用方照常全量重扫。**绝不**用陈旧索引
|
* 真机 exFAT(drop_caches 后)量到 434 个目录逐个 stat = **3.15s(7.26ms/次)**,
|
||||||
* 冒充真实书库,也绝不因为索引写失败而让书架打不开。
|
* 与全量 readdir 的 3.0s 同量级;全目录校验的索引命中冷启动仍要 3.06s,只比全扫快 0.2s,
|
||||||
|
* 任务目标不成立。而 Books 根 + 3 个一级目录共 4 次 stat,冷缓存只有 **~20ms**。
|
||||||
|
* 真实数字(真机 drop_caches 实测,2026-11-10):
|
||||||
|
* - 冷缓存:level-1 索引命中首开 ≈0.13–0.16s;全量扫描首开 ≈3.43–3.48s;
|
||||||
|
* - 热 dentry:索引命中 ≈0.03–0.11s;全量扫描始终 ≈3.1–3.3s(readdir 不吃 page cache)。
|
||||||
|
* - 探针分项(冷):索引载入 20–30ms;载入+rdprog×595 70–120ms;4 个目录 stat 0–30ms。
|
||||||
*
|
*
|
||||||
* 索引里**不存阅读进度 ts**:ts 每次由调用方的 ts_fn(生产=rdprog_load)现读,
|
* 校验范围 = Books 根 + 每个一级目录(rel 为空或不含 '/')。**level-2 及更深的目录不落盘、
|
||||||
* 否则「刚读完回书架」会显示旧的置顶顺序。索引只存与进度无关的扫描事实。
|
* 不 stat**(代价见下)。载入路径仍然完全没有 opendir/readdir。
|
||||||
*
|
*
|
||||||
* 目录 mtime 失效语义(存「扫描过的每个目录」的 mtime,非只存 level-1):
|
* 能自动失效 vs 必须点「刷新」:
|
||||||
* - 任意目录里新增/删除/改名文件 → 该目录 mtime 变 → 校验失败 → 重扫(含 level-3 深处);
|
* 自动(Books 根 mtime 变):Books 根下直接放书/删书/改名;一级目录新增/删除/改名。
|
||||||
* - 一级目录改名 → 父目录 mtime 变 + 旧目录 stat 失败 → 重扫;
|
* 自动(一级目录 mtime 变):一级目录里**直接**放书/删书/改名/新建子目录。
|
||||||
* - 超深(> SHELF_SCAN_MAX_DEPTH)未扫描的子树不在索引里,其内部变化不会自动失效
|
* 必须刷新:level-2 及更深处的任何变化(新增/删除/改名书籍或目录)——这些只改更深层
|
||||||
* (那些书本来就不显示),需点「刷新」更新 depth_skipped 计数。
|
* 目录的 mtime,一级目录与 Books 根都不变。这与 M29「新书靠刷新」是同一 UX。
|
||||||
* mtime 精度受文件系统限制(exFAT 约 10ms / FAT32 2s):与上次扫描落在同一时间刻度的
|
* 刷新 = shelf_index_remove() + 全量重扫(之后写回新索引)。
|
||||||
* 变更可能漏判,点一次「刷新」必可纠正(刷新=清索引+全量重扫)。
|
*
|
||||||
|
* mtime 精度(真机 exFAT 实测):**1 秒**(tm_sec 有值、tm_nsec=0);同一秒内连续两次改动,
|
||||||
|
* 目录 mtime 完全不变,30 轮「扫描后同秒内新增」有 29 轮索引仍命中。因此:**不在同一 mtime
|
||||||
|
* 秒刻度内的变更靠索引失效;同秒二次变更需刷新**。FAT32 是 2 秒。
|
||||||
|
*
|
||||||
|
* 安全优先(fail-open):版本不符 / 文件缺失 / 截断 / CRC 错 / 根或一级目录 mtime 变化 /
|
||||||
|
* 任何 IO 错误 → shelf_index_load() 返回 0,调用方照常全量重扫。**绝不**用陈旧索引冒充
|
||||||
|
* 真实书库,也绝不因为索引写失败而让书架打不开。
|
||||||
|
*
|
||||||
|
* 索引里**不存阅读进度 ts**:ts 每次由调用方的 ts_fn(生产=rdprog_load)现读,否则
|
||||||
|
* 「刚读完回书架」会显示旧的置顶顺序。索引只存与进度无关的扫描事实。
|
||||||
*/
|
*/
|
||||||
#ifndef SHELF_INDEX_H
|
#ifndef SHELF_INDEX_H
|
||||||
#define SHELF_INDEX_H
|
#define SHELF_INDEX_H
|
||||||
|
|
||||||
#include "shelf_model.h"
|
#include "shelf_model.h"
|
||||||
|
|
||||||
/* 落盘格式版本:**扫描语义变了必须 +1**(新增格式扩展名/改深度/改分组成因等),
|
/* 落盘格式版本:**扫描语义变了必须 +1**(新增格式扩展名/改深度/改分组/改校验范围等),
|
||||||
* 版本不符时旧索引直接作废重扫。 */
|
* 版本不符时旧索引直接作废重扫。v2 = 只存根 + 一级目录的 mtime。 */
|
||||||
#define SHELF_INDEX_VERSION 1
|
#define SHELF_INDEX_VERSION 2
|
||||||
|
|
||||||
/* 载入并校验索引。成功返回 1(books/rep 填好、已按 ts 排序,等价于一次全量扫描);
|
/* 载入并校验索引。成功返回 1(books/rep 填好、已按 ts 排序,等价于一次全量扫描);
|
||||||
* 任何异常返回 0(fail-open,books 内容不可用,调用方必须全量重扫)。
|
* 任何异常返回 0(fail-open,books 内容不可用,调用方必须全量重扫)。
|
||||||
* 成功路径**不做 opendir/readdir**:只 open/read 索引 + 逐目录 stat + 每本书 ts_fn。 */
|
* 成功路径**不做 opendir/readdir**:只 open/read 索引 + stat 根/一级目录 + 每本书 ts_fn。 */
|
||||||
int shelf_index_load(const char *root, shelf_book *books, int cap,
|
int shelf_index_load(const char *root, shelf_book *books, int cap,
|
||||||
shelf_ts_fn ts_fn, shelf_scan_report *rep);
|
shelf_ts_fn ts_fn, shelf_scan_report *rep);
|
||||||
|
|
||||||
/* 增量写索引(扫描时逐目录上报 → 扫描结束提交)。
|
/* 增量写索引(扫描时逐目录上报 → 扫描结束提交)。
|
||||||
|
* dir 回调会**过滤掉 level-2+**(只落根 + 一级目录的 mtime);书籍记录照旧全量。
|
||||||
* open 失败返回 NULL(卡满/写保护/无 MeowData):调用方传 NULL 即可,扫描照常。
|
* open 失败返回 NULL(卡满/写保护/无 MeowData):调用方传 NULL 即可,扫描照常。
|
||||||
* dir 回调签名与 shelf_dir_fn 一致,可直接传给 shelf_scan_books_ex。
|
* dir 回调签名与 shelf_dir_fn 一致,可直接传给 shelf_scan_books_ex。
|
||||||
* commit 成功返回 1 并原子发布(临时文件 + rename);失败返回 0 且清理临时文件。
|
* commit 成功返回 1 并原子发布(临时文件 + rename);失败返回 0 且清理临时文件。
|
||||||
|
|||||||
@@ -194,3 +194,10 @@ $CC -Os -static -Wall -Wextra -I../sdk -I../meow_launcherd -I. -Icore -Iapp -Ien
|
|||||||
../sdk/meow_ui.a "$SYSROOT/lib/libz.a" "$FT_BUILD/libfreetype.a" -lpthread -o test/shelf_bench_ondev_mipsel
|
../sdk/meow_ui.a "$SYSROOT/lib/libz.a" "$FT_BUILD/libfreetype.a" -lpthread -o test/shelf_bench_ondev_mipsel
|
||||||
ls -la test/shelf_bench_ondev_mipsel
|
ls -la test/shelf_bench_ondev_mipsel
|
||||||
echo "build_reader OK"
|
echo "build_reader OK"
|
||||||
|
|
||||||
|
# ---------- 9) 真机索引探针(不进发行包;直接调 model/index,无 UI) ----------
|
||||||
|
# 用法(设备):MEOW_PROBE_CFG=<TF>/MeowData/m32probe/data ./shelf_index_probe_mipsel load <Books>
|
||||||
|
echo "==> mipsel index probe (not shipped)"
|
||||||
|
$CC -Os -static -Wall -Wextra -I../sdk -Iapp test/shelf_index_probe.c \
|
||||||
|
app/shelf_model.c app/shelf_index.c app/progress.c -o test/shelf_index_probe_mipsel
|
||||||
|
ls -la test/shelf_index_probe_mipsel
|
||||||
@@ -71,14 +71,26 @@ int main(int argc, char **argv)
|
|||||||
if (meow_ui_init(&o) != 0) { printf("BENCH init_fail\n"); return 1; }
|
if (meow_ui_init(&o) != 0) { printf("BENCH init_fail\n"); return 1; }
|
||||||
meow_theme_add_listener(NULL);
|
meow_theme_add_listener(NULL);
|
||||||
|
|
||||||
bench_index(); /* M32:索引命中/未命中 + 扫描落盘(不含 UI) */
|
/* M32 r2:MEOW_BENCH_IDX 三种模式
|
||||||
bench_scan(); /* 纯扫描基线(不建 UI) */
|
* 未设置 —— 先跑 bench_index()+bench_scan()(会焐热缓存,只适合看热值);
|
||||||
|
* only —— **不预先 load/scan**:直接进书架,量生产首次进入(配合 drop_caches 看冷启动);
|
||||||
/* 首次进书架:默认走索引命中;MEOW_BENCH_IDX=miss 先删索引 → 走全量扫描(对比用)。 */
|
* miss —— 同上,且先删索引:量生产「无索引全量扫描」首次进入(冷启动对比)。
|
||||||
|
* 冷/热对照用法:sync; echo 3 > /proc/sys/vm/drop_caches; MEOW_BENCH_IDX=only ./bench */
|
||||||
const char *eidx = getenv("MEOW_BENCH_IDX");
|
const char *eidx = getenv("MEOW_BENCH_IDX");
|
||||||
if (eidx && strcmp(eidx, "miss") == 0) {
|
int idx_only = eidx && strcmp(eidx, "only") == 0;
|
||||||
shelf_index_remove(READER_SD_ROOT "/Books");
|
int idx_miss = eidx && strcmp(eidx, "miss") == 0;
|
||||||
printf("BENCH index_removed (miss path)\n");
|
|
||||||
|
if (!idx_only && !idx_miss) {
|
||||||
|
bench_index(); /* 索引命中/未命中 + 扫描落盘(不含 UI;会焐热缓存) */
|
||||||
|
bench_scan(); /* 纯扫描基线(不建 UI) */
|
||||||
|
} else {
|
||||||
|
char ip[500];
|
||||||
|
struct stat st;
|
||||||
|
int have = (shelf_index_path(READER_SD_ROOT "/Books", ip, sizeof ip) == 0 &&
|
||||||
|
stat(ip, &st) == 0);
|
||||||
|
printf("BENCH index_mode %s prewarm=0 index_present=%d index_bytes=%lld\n",
|
||||||
|
idx_miss ? "miss" : "only", have, have ? (long long)st.st_size : -1LL);
|
||||||
|
if (idx_miss) shelf_index_remove(READER_SD_ROOT "/Books");
|
||||||
fflush(stdout);
|
fflush(stdout);
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -86,7 +98,7 @@ int main(int argc, char **argv)
|
|||||||
reader_view_create();
|
reader_view_create();
|
||||||
settings_view_create();
|
settings_view_create();
|
||||||
|
|
||||||
/* ① 首次进书架(新进程:含全量扫描 + 建控件 + 首帧上屏) */
|
/* ① 首次进书架(only/miss 模式下这就是生产首次进入;配合 drop_caches 为冷启动值) */
|
||||||
uint64_t t0 = now_ms();
|
uint64_t t0 = now_ms();
|
||||||
meow_view_page_push(ACT_SHELF);
|
meow_view_page_push(ACT_SHELF);
|
||||||
uint64_t t1 = now_ms();
|
uint64_t t1 = now_ms();
|
||||||
|
|||||||
@@ -2,9 +2,12 @@
|
|||||||
*
|
*
|
||||||
* 用法:
|
* 用法:
|
||||||
* ./shelf_index_bench_host [bench|indexonly] [root]
|
* ./shelf_index_bench_host [bench|indexonly] [root]
|
||||||
* bench —— 建虚拟书库(默认 452 目录 / 688 本,贴合真机 434/595 量级)并计时
|
* bench —— 建虚拟书库(434 目录 / 595 本 / 51 个 .rar,贴真机量级)并计时
|
||||||
* indexonly —— 只载入已有索引一次(供 `strace -e getdents64` 断言「载入不 readdir」)
|
* indexonly —— 只载入已有索引一次(供 `strace -e getdents64` 断言「载入不 readdir」)
|
||||||
*
|
*
|
||||||
|
* v2 校验范围 = Books 根 + 一级目录(真机冷缓存 4 次 stat ≈20ms;434 次=3.15s,已弃用)。
|
||||||
|
* 宿主数字只用于看相对成本/调用次数;真机绝对值见 M32 r2 报文(drop_caches 实测)。
|
||||||
|
*
|
||||||
* 为什么宿主数字不能直接当真机用:宿主是 ext4/f2fs 热缓存(每次 stat ~1µs),真机 TF 卡是
|
* 为什么宿主数字不能直接当真机用:宿主是 ext4/f2fs 热缓存(每次 stat ~1µs),真机 TF 卡是
|
||||||
* exFAT(M28 实测 1079 次 stat = 160–170ms,约 150µs/次)。本工具用来量**调用次数与代码路径**
|
* exFAT(M28 实测 1079 次 stat = 160–170ms,约 150µs/次)。本工具用来量**调用次数与代码路径**
|
||||||
* 的相对成本;绝对毫秒按 M28 的每次 stat/条目成本外推(见报文)。
|
* 的相对成本;绝对毫秒按 M28 的每次 stat/条目成本外推(见报文)。
|
||||||
@@ -180,7 +183,7 @@ int main(int argc, char **argv)
|
|||||||
int nfiles = count_files(root, 0);
|
int nfiles = count_files(root, 0);
|
||||||
printf("library: %s (%s) dirs=%d files=%d\n", root, created ? "created" : "reused", nd, nfiles);
|
printf("library: %s (%s) dirs=%d files=%d\n", root, created ? "created" : "reused", nd, nfiles);
|
||||||
|
|
||||||
/* ① 目录逐个 stat(校验索引的唯一 IO) */
|
/* ① 目录逐个 stat(v1 全目录校验的代价;已弃用,留作对照:真机冷缓存 3.15s) */
|
||||||
struct stat st;
|
struct stat st;
|
||||||
int reps = 20;
|
int reps = 20;
|
||||||
double t0 = now_ms();
|
double t0 = now_ms();
|
||||||
@@ -190,6 +193,29 @@ int main(int argc, char **argv)
|
|||||||
printf("stat_all_dirs: %d x%d = %.2f ms total, %.3f ms/pass, %.2f us/stat\n",
|
printf("stat_all_dirs: %d x%d = %.2f ms total, %.3f ms/pass, %.2f us/stat\n",
|
||||||
nd, reps, t1 - t0, (t1 - t0) / reps, (t1 - t0) * 1000.0 / (reps * nd));
|
nd, reps, t1 - t0, (t1 - t0) / reps, (t1 - t0) * 1000.0 / (reps * nd));
|
||||||
|
|
||||||
|
/* ①b v2 实际校验成本:只 stat Books 根 + 一级目录 */
|
||||||
|
static char l1[64][512];
|
||||||
|
int nl1 = 0;
|
||||||
|
snprintf(l1[nl1++], 512, "%s", root);
|
||||||
|
DIR *ld = opendir(root);
|
||||||
|
if (ld) {
|
||||||
|
struct dirent *e;
|
||||||
|
while ((e = readdir(ld)) && nl1 < 64) {
|
||||||
|
if (e->d_name[0] == '.') continue;
|
||||||
|
char p[512];
|
||||||
|
snprintf(p, sizeof p, "%s/%s", root, e->d_name);
|
||||||
|
struct stat t;
|
||||||
|
if (stat(p, &t) == 0 && S_ISDIR(t.st_mode)) snprintf(l1[nl1++], 512, "%s", p);
|
||||||
|
}
|
||||||
|
closedir(ld);
|
||||||
|
}
|
||||||
|
t0 = now_ms();
|
||||||
|
for (int r = 0; r < reps; r++)
|
||||||
|
for (int i = 0; i < nl1; i++) stat(l1[i], &st);
|
||||||
|
t1 = now_ms();
|
||||||
|
printf("stat_level1: %d dirs (root + level-1) x%d = %.3f ms/pass, %.2f us/stat\n",
|
||||||
|
nl1, reps, (t1 - t0) / reps, (t1 - t0) * 1000.0 / (reps * nl1));
|
||||||
|
|
||||||
/* ② 全量扫描(无 ts) */
|
/* ② 全量扫描(无 ts) */
|
||||||
double best_scan = 1e9, best_save = 1e9;
|
double best_scan = 1e9, best_save = 1e9;
|
||||||
int n = 0;
|
int n = 0;
|
||||||
|
|||||||
@@ -0,0 +1,115 @@
|
|||||||
|
/* test/shelf_index_probe.c — M32 真机测量探针(不进发行包/不参与 mpk)。
|
||||||
|
*
|
||||||
|
* 只调 shelf_model/shelf_index/progress,不初始化 UI;用 /proc/uptime 计时
|
||||||
|
* (该内核 time32 ABI 下 clock_gettime 不可靠,见 sdk/CLOCK_ABI.md;分辨率 10ms)。
|
||||||
|
*
|
||||||
|
* 用法(设备):
|
||||||
|
* MEOW_PROBE_CFG=/usr/data/mnt/sd_0/MeowData/m32probe/data \
|
||||||
|
* ./shelf_index_probe <mode> /usr/data/mnt/sd_0/Books
|
||||||
|
* mode:
|
||||||
|
* write 全量扫描 + 写索引(打印 n/索引字节数)
|
||||||
|
* scan 全量扫描(不写索引)
|
||||||
|
* load 索引载入(ts_fn=NULL,只量索引+校验)
|
||||||
|
* loadts 索引载入 + 逐本 rdprog_load(生产口径)
|
||||||
|
* statpaths 冷缓存 stat 指定路径(argv[2..],不做任何枚举,避免预热)
|
||||||
|
* mtime 打印路径的 st_mtime/sec+nsec(验证 exFAT 1 秒粒度)
|
||||||
|
* size 打印索引文件字节数
|
||||||
|
* 冷缓存:每次运行前 `sync; echo 3 > /proc/sys/vm/drop_caches`。
|
||||||
|
* 注意:load/level1 本身会按需把 dentry/page cache 焐热,所以冷值必须每次 drop 后单跑一次。
|
||||||
|
*/
|
||||||
|
#include "shelf_model.h"
|
||||||
|
#include "shelf_index.h"
|
||||||
|
#include "progress.h"
|
||||||
|
|
||||||
|
#include <dirent.h>
|
||||||
|
#include <stdio.h>
|
||||||
|
#include <stdlib.h>
|
||||||
|
#include <string.h>
|
||||||
|
#include <sys/stat.h>
|
||||||
|
|
||||||
|
static char g_cfgdir[500];
|
||||||
|
const char *meow_config_dir(void) { return g_cfgdir; }
|
||||||
|
|
||||||
|
static int64_t now_us(void)
|
||||||
|
{
|
||||||
|
FILE *f = fopen("/proc/uptime", "r");
|
||||||
|
if (!f) return 0;
|
||||||
|
long sec = 0, cs = 0;
|
||||||
|
if (fscanf(f, "%ld.%ld", &sec, &cs) != 2) cs = 0;
|
||||||
|
fclose(f);
|
||||||
|
return (int64_t)sec * 1000000 + (int64_t)cs * 10000;
|
||||||
|
}
|
||||||
|
|
||||||
|
static uint64_t prog_ts(const char *path)
|
||||||
|
{
|
||||||
|
rdprog p;
|
||||||
|
return (rdprog_load(path, &p) == 1) ? p.ts : 0;
|
||||||
|
}
|
||||||
|
|
||||||
|
static int64_t index_bytes(const char *root)
|
||||||
|
{
|
||||||
|
char ip[500];
|
||||||
|
struct stat st;
|
||||||
|
if (shelf_index_path(root, ip, sizeof ip) != 0 || stat(ip, &st) != 0) return -1;
|
||||||
|
return (int64_t)st.st_size;
|
||||||
|
}
|
||||||
|
|
||||||
|
int main(int argc, char **argv)
|
||||||
|
{
|
||||||
|
if (argc < 3) {
|
||||||
|
fprintf(stderr, "用法: %s <write|scan|load|loadts|level1|size> <Books目录>\n", argv[0]);
|
||||||
|
return 2;
|
||||||
|
}
|
||||||
|
const char *mode = argv[1];
|
||||||
|
const char *root = argv[2];
|
||||||
|
const char *cfg = getenv("MEOW_PROBE_CFG");
|
||||||
|
snprintf(g_cfgdir, sizeof g_cfgdir, "%s", (cfg && cfg[0]) ? cfg : "/tmp/m32probe_cfg/data");
|
||||||
|
|
||||||
|
static shelf_book books[SHELF_MAX_BOOKS];
|
||||||
|
shelf_scan_report rep;
|
||||||
|
int64_t t0, t1;
|
||||||
|
|
||||||
|
if (strcmp(mode, "scan") == 0) {
|
||||||
|
t0 = now_us();
|
||||||
|
int n = shelf_scan_books(root, books, SHELF_MAX_BOOKS, NULL, &rep);
|
||||||
|
t1 = now_us();
|
||||||
|
printf("PROBE scan_ms %lld n=%d trunc=%d skip=%d root_missing=%d\n",
|
||||||
|
(long long)((t1 - t0) / 1000), n, rep.truncated, rep.depth_skipped, rep.root_missing);
|
||||||
|
} else if (strcmp(mode, "write") == 0) {
|
||||||
|
t0 = now_us();
|
||||||
|
shelf_idx_writer *w = shelf_index_writer_open(root);
|
||||||
|
int n = shelf_scan_books_ex(root, books, SHELF_MAX_BOOKS, NULL, &rep,
|
||||||
|
w ? shelf_index_writer_dir : NULL, w);
|
||||||
|
int ok = w ? shelf_index_writer_commit(w, books, n, &rep) : 0;
|
||||||
|
t1 = now_us();
|
||||||
|
printf("PROBE write_ms %lld n=%d commit=%d idx_bytes=%lld\n",
|
||||||
|
(long long)((t1 - t0) / 1000), n, ok, (long long)index_bytes(root));
|
||||||
|
} else if (strcmp(mode, "load") == 0 || strcmp(mode, "loadts") == 0) {
|
||||||
|
int with_ts = (strcmp(mode, "loadts") == 0);
|
||||||
|
t0 = now_us();
|
||||||
|
int hit = shelf_index_load(root, books, SHELF_MAX_BOOKS, with_ts ? prog_ts : NULL, &rep);
|
||||||
|
t1 = now_us();
|
||||||
|
printf("PROBE %s_ms %lld hit=%d n=%d trunc=%d skip=%d idx_bytes=%lld\n",
|
||||||
|
with_ts ? "loadts" : "load", (long long)((t1 - t0) / 1000),
|
||||||
|
hit, rep.nbooks, rep.truncated, rep.depth_skipped, (long long)index_bytes(root));
|
||||||
|
} else if (strcmp(mode, "statpaths") == 0) {
|
||||||
|
/* 冷缓存 stat 指定路径(不做任何 readdir/枚举,避免预热):argv[2..] 都是路径。
|
||||||
|
* 设备用法示例:drop_caches 后 probe statpaths <Books> <Books/kh> <Books/轻小说> ... */
|
||||||
|
struct stat st;
|
||||||
|
int cnt = argc - 2;
|
||||||
|
t0 = now_us();
|
||||||
|
for (int i = 2; i < argc; i++) (void)stat(argv[i], &st);
|
||||||
|
t1 = now_us();
|
||||||
|
printf("PROBE statpaths_ms %lld npaths=%d\n", (long long)((t1 - t0) / 1000), cnt);
|
||||||
|
} else if (strcmp(mode, "mtime") == 0) {
|
||||||
|
struct stat st;
|
||||||
|
int rc = stat(argv[2], &st);
|
||||||
|
printf("PROBE mtime rc=%d sec=%lld nsec=%ld\n", rc,
|
||||||
|
(long long)st.st_mtime, (long)st.st_mtim.tv_nsec);
|
||||||
|
} else if (strcmp(mode, "size") == 0) { printf("PROBE idx_bytes %lld\n", (long long)index_bytes(root));
|
||||||
|
} else {
|
||||||
|
fprintf(stderr, "未知 mode: %s\n", mode);
|
||||||
|
return 2;
|
||||||
|
}
|
||||||
|
return 0;
|
||||||
|
}
|
||||||
@@ -3,8 +3,9 @@
|
|||||||
* 覆盖:
|
* 覆盖:
|
||||||
* I1 全量扫描 → 写索引 → 载入:书数/书名/分组/path/fmt/size/ts 全部与扫描一致
|
* I1 全量扫描 → 写索引 → 载入:书数/书名/分组/path/fmt/size/ts 全部与扫描一致
|
||||||
* I2 载入不缓存阅读进度:同一索引换 ts_fn 再载入,ts 立刻反映新值(含真实 rdprog 文件)
|
* I2 载入不缓存阅读进度:同一索引换 ts_fn 再载入,ts 立刻反映新值(含真实 rdprog 文件)
|
||||||
* I3 四种书库变更都必须失效(fail-open 重扫):
|
* I3 v2 校验范围 = Books 根 + 一级目录:
|
||||||
* level-2 新增 / level-3 深处新增 / level-1 目录改名 / 删书
|
* 自动失效:一级目录直接增/删书、新建 level-2 目录、一级目录改名、根下增删书;
|
||||||
|
* 必须刷新:level-3 深处新增、已有 level-2 目录内新增(索引仍命中,先看到旧列表)
|
||||||
* I4 坏档 fail-open:截断 / 中间字节翻转 / 垃圾内容 / 文件缺失 / 索引路径是目录 /
|
* I4 坏档 fail-open:截断 / 中间字节翻转 / 垃圾内容 / 文件缺失 / 索引路径是目录 /
|
||||||
* 版本不符 / Books 根路径不符 —— 一律返回 0,不崩
|
* 版本不符 / Books 根路径不符 —— 一律返回 0,不崩
|
||||||
* I5 truncated / depth_skipped 如实重建(索引里存了这两个值)
|
* I5 truncated / depth_skipped 如实重建(索引里存了这两个值)
|
||||||
@@ -86,6 +87,21 @@ static int idx_path(const char *root, char *out, int outsz)
|
|||||||
return shelf_index_path(root, out, outsz);
|
return shelf_index_path(root, out, outsz);
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/* 读索引 trailer 的 ndirs(v2 应 = 1 + 一级目录数)。 */
|
||||||
|
static uint32_t idx_trailer_ndirs(const char *root)
|
||||||
|
{
|
||||||
|
char ip[500];
|
||||||
|
if (idx_path(root, ip, sizeof ip) != 0) return 0;
|
||||||
|
FILE *f = fopen(ip, "rb");
|
||||||
|
if (!f) return 0;
|
||||||
|
unsigned char tr[24];
|
||||||
|
if (fseek(f, -(long)sizeof tr, SEEK_END) != 0 ||
|
||||||
|
fread(tr, 1, sizeof tr, f) != sizeof tr) { fclose(f); return 0; }
|
||||||
|
fclose(f);
|
||||||
|
return (uint32_t)tr[0] | ((uint32_t)tr[1] << 8) | ((uint32_t)tr[2] << 16) |
|
||||||
|
((uint32_t)tr[3] << 24);
|
||||||
|
}
|
||||||
|
|
||||||
static int scan_and_save(const char *root, shelf_book *books, int cap, shelf_scan_report *rep)
|
static int scan_and_save(const char *root, shelf_book *books, int cap, shelf_scan_report *rep)
|
||||||
{
|
{
|
||||||
shelf_idx_writer *w = shelf_index_writer_open(root);
|
shelf_idx_writer *w = shelf_index_writer_open(root);
|
||||||
@@ -134,6 +150,9 @@ static void test_roundtrip(const char *root)
|
|||||||
struct stat st;
|
struct stat st;
|
||||||
CHECK(stat(ip, &st) == 0 && st.st_size > 0, "索引文件已落盘");
|
CHECK(stat(ip, &st) == 0 && st.st_size > 0, "索引文件已落盘");
|
||||||
printf("index: %s (%lld bytes)\n", ip, (long long)st.st_size);
|
printf("index: %s (%lld bytes)\n", ip, (long long)st.st_size);
|
||||||
|
/* v2:只落根 + 一级目录(本树一级 = 轻小说/玄幻/B/D/G/400+合集/空目录 → 7,加根 = 8)。
|
||||||
|
* 这个数直接决定载入时的 stat 次数(真机冷缓存 4 次≈20ms,434 次=3.15s)。 */
|
||||||
|
CHECK(idx_trailer_ndirs(root) == 8, "v2 目录记录 = Books 根 + 7 个一级目录");
|
||||||
|
|
||||||
int n2 = shelf_index_load(root, loadb, SHELF_MAX_BOOKS, ts_of, &r2);
|
int n2 = shelf_index_load(root, loadb, SHELF_MAX_BOOKS, ts_of, &r2);
|
||||||
CHECK(n2 == 1, "索引命中");
|
CHECK(n2 == 1, "索引命中");
|
||||||
@@ -191,8 +210,21 @@ static void test_ts_not_cached(const char *root)
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
/* I3:四种变更都必须让索引失效。每次变更后:先断言 load=0(不静默用陈旧索引),
|
/* I3(v2 = 只校验 Books 根 + 一级目录):
|
||||||
* 再全量重扫 + 写新索引,断言变化可见。 */
|
* 自动失效(load 返回 0 → 全扫):
|
||||||
|
* ① 一级目录里直接新增书(一级目录 mtime 变)
|
||||||
|
* ② 一级目录里新建子目录(一级目录 mtime 变)
|
||||||
|
* ③ 一级目录改名(Books 根 mtime 变 + 旧目录 stat 失败)
|
||||||
|
* ④ Books 根下删书(根 mtime 变)
|
||||||
|
* ⑤ 一级目录里直接删书(一级目录 mtime 变)
|
||||||
|
* 必须点「刷新」(load 仍命中,先看到旧列表):
|
||||||
|
* ⑥ level-3 深处新增(只改更深目录的 mtime)
|
||||||
|
* ⑦ 已有 level-2 目录里新增(只改 level-2 的 mtime)
|
||||||
|
*
|
||||||
|
* 注意:宿主 ext4/f2fs 的 mtime 有纳秒精度,usleep(20000) 足以拉开刻度;**真机 exFAT 的
|
||||||
|
* 目录 mtime 只有 1 秒精度**(实测 tm_nsec=0),同秒内二次改动不会变——本测试无法模拟
|
||||||
|
* 那个真机窗口(见 shelf_index.h 的 mtime 精度说明)。
|
||||||
|
*/
|
||||||
static void test_invalidation(const char *root)
|
static void test_invalidation(const char *root)
|
||||||
{
|
{
|
||||||
static shelf_book b[SHELF_MAX_BOOKS];
|
static shelf_book b[SHELF_MAX_BOOKS];
|
||||||
@@ -201,22 +233,22 @@ static void test_invalidation(const char *root)
|
|||||||
|
|
||||||
CHECK(scan_and_save(root, b, SHELF_MAX_BOOKS, &rep) > 0, "基线扫描写索引");
|
CHECK(scan_and_save(root, b, SHELF_MAX_BOOKS, &rep) > 0, "基线扫描写索引");
|
||||||
|
|
||||||
/* ① level-2 直接新增 */
|
/* ① 一级目录里直接新增(level-2 相对 Books 是直接子项) */
|
||||||
usleep(20000);
|
usleep(20000);
|
||||||
snprintf(p, sizeof p, "%s/轻小说/新书.txt", root); write_file(p, "new");
|
snprintf(p, sizeof p, "%s/轻小说/新书.txt", root); write_file(p, "new");
|
||||||
CHECK(shelf_index_load(root, b, SHELF_MAX_BOOKS, ts_of, &rep) == 0,
|
CHECK(shelf_index_load(root, b, SHELF_MAX_BOOKS, ts_of, &rep) == 0,
|
||||||
"level-2 新增 → 索引失效");
|
"一级目录直接新增 → 索引失效");
|
||||||
int n = scan_and_save(root, b, SHELF_MAX_BOOKS, &rep);
|
int n = scan_and_save(root, b, SHELF_MAX_BOOKS, &rep);
|
||||||
CHECK(find_title(b, n, "新书") != NULL, "重扫后新书可见");
|
CHECK(find_title(b, n, "新书") != NULL, "重扫后新书可见");
|
||||||
|
|
||||||
/* ② level-3 深处新增(Books/400+.../01、玄幻/01、斗破/) */
|
/* ② 一级目录里新建 level-2 子目录(一级目录 mtime 变)→ 自动失效 */
|
||||||
usleep(20000);
|
usleep(20000);
|
||||||
snprintf(p, sizeof p, "%s/400+本高质量完本合集/01、玄幻/01、斗破/新书2.txt", root);
|
snprintf(p, sizeof p, "%s/轻小说/新子目录", root); mkdirs(p);
|
||||||
write_file(p, "new2");
|
snprintf(p, sizeof p, "%s/轻小说/新子目录/深书.txt", root); write_file(p, "deep");
|
||||||
CHECK(shelf_index_load(root, b, SHELF_MAX_BOOKS, ts_of, &rep) == 0,
|
CHECK(shelf_index_load(root, b, SHELF_MAX_BOOKS, ts_of, &rep) == 0,
|
||||||
"level-3 深处新增 → 索引失效");
|
"新建 level-2 目录 → 索引失效");
|
||||||
n = scan_and_save(root, b, SHELF_MAX_BOOKS, &rep);
|
n = scan_and_save(root, b, SHELF_MAX_BOOKS, &rep);
|
||||||
CHECK(find_title(b, n, "新书2") != NULL, "重扫后深处新书可见");
|
CHECK(find_title(b, n, "深书") != NULL, "重扫后新子目录里的书可见");
|
||||||
|
|
||||||
/* ③ 一级目录改名 */
|
/* ③ 一级目录改名 */
|
||||||
usleep(20000);
|
usleep(20000);
|
||||||
@@ -230,14 +262,43 @@ static void test_invalidation(const char *root)
|
|||||||
CHECK(m && strcmp(m->top, "玄幻改") == 0 && strcmp(m->group, "玄幻改") == 0,
|
CHECK(m && strcmp(m->top, "玄幻改") == 0 && strcmp(m->group, "玄幻改") == 0,
|
||||||
"重扫后分组键跟随新目录名");
|
"重扫后分组键跟随新目录名");
|
||||||
|
|
||||||
/* ④ 删书 */
|
/* ④ Books 根下删书(根 mtime 变) */
|
||||||
usleep(20000);
|
usleep(20000);
|
||||||
snprintf(p, sizeof p, "%s/根下.txt", root);
|
snprintf(p, sizeof p, "%s/根下.txt", root);
|
||||||
CHECK(unlink(p) == 0, "删除一本书");
|
CHECK(unlink(p) == 0, "删除 Books 根下的一本书");
|
||||||
CHECK(shelf_index_load(root, b, SHELF_MAX_BOOKS, ts_of, &rep) == 0,
|
CHECK(shelf_index_load(root, b, SHELF_MAX_BOOKS, ts_of, &rep) == 0,
|
||||||
"删书 → 索引失效");
|
"根下删书 → 索引失效");
|
||||||
n = scan_and_save(root, b, SHELF_MAX_BOOKS, &rep);
|
n = scan_and_save(root, b, SHELF_MAX_BOOKS, &rep);
|
||||||
CHECK(find_title(b, n, "根下") == NULL, "重扫后删掉的书消失");
|
CHECK(find_title(b, n, "根下") == NULL, "重扫后删掉的书消失");
|
||||||
|
|
||||||
|
/* ⑤ 一级目录里直接删书(一级目录 mtime 变) */
|
||||||
|
usleep(20000);
|
||||||
|
snprintf(p, sizeof p, "%s/轻小说/2.epub", root);
|
||||||
|
CHECK(unlink(p) == 0, "删除一级目录里直接放的书");
|
||||||
|
CHECK(shelf_index_load(root, b, SHELF_MAX_BOOKS, ts_of, &rep) == 0,
|
||||||
|
"一级目录直接删书 → 索引失效");
|
||||||
|
n = scan_and_save(root, b, SHELF_MAX_BOOKS, &rep);
|
||||||
|
CHECK(find_title(b, n, "2") == NULL, "重扫后该书消失");
|
||||||
|
|
||||||
|
/* ⑥ level-3 深处新增:**不自动失效**(level-1 与根 mtime 都没变)→ 需刷新 */
|
||||||
|
snprintf(p, sizeof p, "%s/400+本高质量完本合集/01、玄幻/01、斗破/新书2.txt", root);
|
||||||
|
write_file(p, "new2");
|
||||||
|
CHECK(shelf_index_load(root, b, SHELF_MAX_BOOKS, ts_of, &rep) == 1,
|
||||||
|
"level-3 深处新增 → 索引仍命中(预期:需刷新)");
|
||||||
|
CHECK(find_title(b, rep.nbooks, "新书2") == NULL, "命中时看不到深处新书(陈旧直到刷新)");
|
||||||
|
shelf_index_remove(root); /* 顶栏「刷新」= 删索引 + 全扫 */
|
||||||
|
n = scan_and_save(root, b, SHELF_MAX_BOOKS, &rep);
|
||||||
|
CHECK(find_title(b, n, "新书2") != NULL, "刷新后深处新书可见");
|
||||||
|
|
||||||
|
/* ⑦ 已有 level-2 目录里新增:**不自动失效** → 需刷新 */
|
||||||
|
snprintf(p, sizeof p, "%s/B/sub/新书3.txt", root);
|
||||||
|
write_file(p, "new3");
|
||||||
|
CHECK(shelf_index_load(root, b, SHELF_MAX_BOOKS, ts_of, &rep) == 1,
|
||||||
|
"level-2 目录内新增 → 索引仍命中(预期:需刷新)");
|
||||||
|
CHECK(find_title(b, rep.nbooks, "新书3") == NULL, "命中时看不到 level-2 新书(陈旧直到刷新)");
|
||||||
|
shelf_index_remove(root);
|
||||||
|
n = scan_and_save(root, b, SHELF_MAX_BOOKS, &rep);
|
||||||
|
CHECK(find_title(b, n, "新书3") != NULL, "刷新后 level-2 新书可见");
|
||||||
}
|
}
|
||||||
|
|
||||||
static void test_bad_index(const char *root)
|
static void test_bad_index(const char *root)
|
||||||
@@ -299,12 +360,12 @@ static void test_bad_index(const char *root)
|
|||||||
CHECK(shelf_index_load(root, b, SHELF_MAX_BOOKS, ts_of, &rep) == 1, ".tmp 残渣不影响载入");
|
CHECK(shelf_index_load(root, b, SHELF_MAX_BOOKS, ts_of, &rep) == 1, ".tmp 残渣不影响载入");
|
||||||
unlink(tmpip);
|
unlink(tmpip);
|
||||||
|
|
||||||
/* 版本不符:先把版本字段改成 2 */
|
/* 版本不符:先把版本字段改成 3 */
|
||||||
CHECK(scan_and_save(root, b, SHELF_MAX_BOOKS, &rep) > 0, "重写索引");
|
CHECK(scan_and_save(root, b, SHELF_MAX_BOOKS, &rep) > 0, "重写索引");
|
||||||
f = fopen(ip, "r+b");
|
f = fopen(ip, "r+b");
|
||||||
CHECK(f != NULL, "打开索引改版本");
|
CHECK(f != NULL, "打开索引改版本");
|
||||||
if (f) {
|
if (f) {
|
||||||
unsigned char v[4] = { 2, 0, 0, 0 };
|
unsigned char v[4] = { 3, 0, 0, 0 };
|
||||||
CHECK(fseek(f, 8, SEEK_SET) == 0, "定位版本字段");
|
CHECK(fseek(f, 8, SEEK_SET) == 0, "定位版本字段");
|
||||||
fwrite(v, 1, sizeof v, f);
|
fwrite(v, 1, sizeof v, f);
|
||||||
fclose(f);
|
fclose(f);
|
||||||
|
|||||||
Reference in new issue
Block a user