feat(memory): 护栏抬高+时间预算闸+试算加性异步 与 D3 入库前审查(耦合两片一起落)
【MT-A:护栏 + 诚实截断 + 试算异步】
- maxTidyCompareItems 400(写死)→2000 并开放为 MEMORY_TIDY_COMPARE_LIMIT;
MEMORY_TIDY_CANDIDATE_LIMIT 默认 20→200(语义不变,仍每分区)
- 依据是首跑实测:459 条的分区被 400 截断 ⇒ compared(705) < scanned(784),
候选数(77)由上限而不是规则决定;三处上限的 WARN 都补齐了总数/上限/分区名
- 新增「上限 + 时间预算」双闸(实测 2000 条/分区 ≈234s > 3 分钟墙钟):
整分区跳过 / 两两比对中途收手,一律如实记 (budget) + WARN
- ?async=1 ⇒ 202 {runId,status};GET …/{runId} 轮询(writeAuth 同档);
done 的 result 与同步 data 逐字节同形;并发=复用既有 runId、TTL 30min 自完成起算、
重启即如实 404 tidy_run_not_found;不带 async 时同步路径逐字不变
【MT-B:D3 入库前审查(design/23 §15.1)】
- 新记忆经 Store.Add(仓库里唯一 INSERT INTO memory_items)落库后,由独立记忆管理
会话(sess-memorytidy)在有界后台队列异步判定 skip/merge/modify/create
- 软合并回写(status + merged_into/merged_from/merge_count,可 revert、绝不改 content)
- 隔离来源(群聊/陌生人)**概不审查**、召回/超时失败**零改写**(fail-safe 结构性成立)
- 写入侧仅 +62.7µs/条(非阻塞入队);默认 ENABLED=true(主人裁定:入库前先审查)
【耦合说明(重要)】两片同包且互相依赖:MT-B 的 preinsert_recall.go 用 MT-A 的
collectTidyPairs 新签名 + tidyBudget ⇒ **各自单独都 build 不过**,故一并落地。
MT-A 为让整包编译,最小幅度适配了 MT-B 的 preinsert_recall.go / preinsert_test.go
(零值预算=行为不变;符号重名改名)。
【我的验收】隔离 worktree(37 文件)build/vet/linux/darwin 全过,切片包全绿;
我亲手打红两个变异:① 去掉 (compare) 截断标记 ⇒ TestTidyCompareLimit_HitIsLoud 红;
② 中和隔离来源守卫 ⇒ TestReviewRestrictedSourceIsNeverTouched 红。
唯一红是 internal/runtime/tool 的两条超时用例(该包无人改)⇒ 主仓库 -count=8 全绿,
判定为负载敏感 flake(当时两个整树验收 + 子代理并发),已记入开发习惯与约定 §7。
.env.example 补 MEMORY_REVIEW_* 四键(MT-B 无该文件权限,由我按其代码语义补写)。
This commit is contained in:
1 parent
fe4c702f87
commit
6e28b38b08
37 files changed
+4011
-75
No files matched your search
@@ -2,7 +2,6 @@ package gateway
|
||||
|
||||
import (
|
||||
"context"
|
||||
"errors"
|
||||
"net/http"
|
||||
"time"
|
||||
|
||||
@@ -41,9 +40,18 @@ const tidyDryRunTimeout = 3 * time.Minute
|
||||
// MemoryTidyDryRunner 是记忆整理「试算」的注入出口(契约 v0.75;切片 MT1)。
|
||||
// 组合根注入的就是低峰心跳跑的那个 `*memory.TidyService` —— 同一套规则、同一份
|
||||
// 配置,因此试算给出的建议与今晚 23:00 那一轮是同一口径。
|
||||
//
|
||||
// 契约 v0.76(切片 MT-A)在同一出口上加了**加性**的两个方法(异步试算的启动与
|
||||
// 查询):它们不改变 DryRun 的语义,只是把「跑很久的那一轮」挪到后台。
|
||||
type MemoryTidyDryRunner interface {
|
||||
// DryRun 跑一轮整理规则并返回候选,零副作用。
|
||||
DryRun(ctx context.Context) (memory.TidyDryRun, error)
|
||||
// StartDryRun 启动一次异步试算并立即返回句柄(契约 v0.76 §4.12.1)。
|
||||
// timeout 是这次运行的墙钟上限(非正取实现侧的兜底值)。
|
||||
StartDryRun(timeout time.Duration) (memory.TidyDryRunHandle, error)
|
||||
// DryRunResult 查询一次异步试算的状态;runId 未知(含进程重启后)返回
|
||||
// memory.ErrTidyRunNotFound。
|
||||
DryRunResult(runID string) (memory.TidyAsyncDryRun, error)
|
||||
}
|
||||
|
||||
// AdminTidyDryRunCandidate 是试算响应里的一条候选(契约 v0.75 §4.12)。
|
||||
@@ -97,7 +105,15 @@ type AdminTidyDryRunResponse struct {
|
||||
|
||||
// adminMemoryTidyDryRun 是「试算整理建议」的处理函数。它只读语义、不审计
|
||||
// (见文件头注释第 4 条),失败一律如实作答。
|
||||
//
|
||||
// 带 `?async=1` 时改走**加性异步**(契约 v0.76 §4.12.1,见
|
||||
// admin_memory_tidy_async.go):立刻回 202 + runId,结果由 B15 轮询取回。
|
||||
// 不带该参数时这条函数的行为**逐字不变** —— 老客户端(含现有面板)零影响。
|
||||
func (s *Server) adminMemoryTidyDryRun(w http.ResponseWriter, r *http.Request) {
|
||||
if r.URL.Query().Get(tidyAsyncQueryParam) == tidyAsyncTriggerValue {
|
||||
s.adminMemoryTidyDryRunAsync(w, r)
|
||||
return
|
||||
}
|
||||
if s.memoryTidy == nil {
|
||||
writeError(w, apperr.Wrap(apperr.ErrInternal, "tidy_unavailable", "记忆整理服务未接线"))
|
||||
return
|
||||
@@ -113,34 +129,16 @@ func (s *Server) adminMemoryTidyDryRun(w http.ResponseWriter, r *http.Request) {
|
||||
writeJSON(w, http.StatusOK, adminTidyDryRunResponse(result))
|
||||
}
|
||||
|
||||
// writeTidyDryRunError 把试算失败映射成**诚实**的错误码。用户可见的 message
|
||||
// 只说明「哪一类原因」,原始错误(可能含内部地址/凭据片段)只进日志。
|
||||
// writeTidyDryRunError 把试算失败映射成**诚实**的 HTTP 错误响应。映射表在
|
||||
// tidyDryRunAppError(同步与异步共用的唯一映射点,见 admin_memory_tidy_async.go)。
|
||||
func (s *Server) writeTidyDryRunError(w http.ResponseWriter, err error) {
|
||||
switch {
|
||||
case errors.Is(err, memory.ErrTidyDisabled):
|
||||
writeError(w, &apperr.AppError{
|
||||
Code: "tidy_disabled",
|
||||
Message: "记忆整理已被配置关闭(MEMORY_TIDY_ENABLED=false),试算同样不上报候选",
|
||||
HTTPCode: http.StatusConflict,
|
||||
})
|
||||
case errors.Is(err, memory.ErrTidyRecallUnavailable):
|
||||
s.log.Error("memory tidy dry-run recall unavailable", "err", err)
|
||||
writeError(w, &apperr.AppError{
|
||||
Code: "tidy_recall_unavailable",
|
||||
Message: "语义召回(embedding)不可用,试算未产出候选(试算不做静默降级)",
|
||||
HTTPCode: http.StatusInternalServerError,
|
||||
})
|
||||
case errors.Is(err, context.DeadlineExceeded):
|
||||
s.log.Error("memory tidy dry-run timed out", "err", err)
|
||||
writeError(w, &apperr.AppError{
|
||||
Code: "tidy_timeout",
|
||||
Message: "记忆整理试算超时(未产出候选)",
|
||||
HTTPCode: http.StatusServiceUnavailable,
|
||||
})
|
||||
default:
|
||||
s.log.Error("memory tidy dry-run failed", "err", err)
|
||||
writeError(w, apperr.Wrap(apperr.ErrInternal, "tidy_dry_run_failed", "记忆整理试算失败"))
|
||||
failed := tidyDryRunAppError(err)
|
||||
// 配置关闭是**显式选择**,不算故障:与既有口径一致,不为它记 ERROR 日志。
|
||||
// 其余失败(召回不可用 / 超时 / 内部错)都要在日志里留原始错误。
|
||||
if failed.Code != "tidy_disabled" {
|
||||
s.log.Error("memory tidy dry-run failed", "code", failed.Code, "err", err)
|
||||
}
|
||||
writeError(w, failed)
|
||||
}
|
||||
|
||||
// adminTidyDryRunResponse 把领域结果投影成线上结构。它**不复制**任何阈值/上限:
|
||||
|
||||
Reference in new issue
Block a user