【MT-A:护栏 + 诚实截断 + 试算异步】
- maxTidyCompareItems 400(写死)→2000 并开放为 MEMORY_TIDY_COMPARE_LIMIT;
MEMORY_TIDY_CANDIDATE_LIMIT 默认 20→200(语义不变,仍每分区)
- 依据是首跑实测:459 条的分区被 400 截断 ⇒ compared(705) < scanned(784),
候选数(77)由上限而不是规则决定;三处上限的 WARN 都补齐了总数/上限/分区名
- 新增「上限 + 时间预算」双闸(实测 2000 条/分区 ≈234s > 3 分钟墙钟):
整分区跳过 / 两两比对中途收手,一律如实记 (budget) + WARN
- ?async=1 ⇒ 202 {runId,status};GET …/{runId} 轮询(writeAuth 同档);
done 的 result 与同步 data 逐字节同形;并发=复用既有 runId、TTL 30min 自完成起算、
重启即如实 404 tidy_run_not_found;不带 async 时同步路径逐字不变
【MT-B:D3 入库前审查(design/23 §15.1)】
- 新记忆经 Store.Add(仓库里唯一 INSERT INTO memory_items)落库后,由独立记忆管理
会话(sess-memorytidy)在有界后台队列异步判定 skip/merge/modify/create
- 软合并回写(status + merged_into/merged_from/merge_count,可 revert、绝不改 content)
- 隔离来源(群聊/陌生人)**概不审查**、召回/超时失败**零改写**(fail-safe 结构性成立)
- 写入侧仅 +62.7µs/条(非阻塞入队);默认 ENABLED=true(主人裁定:入库前先审查)
【耦合说明(重要)】两片同包且互相依赖:MT-B 的 preinsert_recall.go 用 MT-A 的
collectTidyPairs 新签名 + tidyBudget ⇒ **各自单独都 build 不过**,故一并落地。
MT-A 为让整包编译,最小幅度适配了 MT-B 的 preinsert_recall.go / preinsert_test.go
(零值预算=行为不变;符号重名改名)。
【我的验收】隔离 worktree(37 文件)build/vet/linux/darwin 全过,切片包全绿;
我亲手打红两个变异:① 去掉 (compare) 截断标记 ⇒ TestTidyCompareLimit_HitIsLoud 红;
② 中和隔离来源守卫 ⇒ TestReviewRestrictedSourceIsNeverTouched 红。
唯一红是 internal/runtime/tool 的两条超时用例(该包无人改)⇒ 主仓库 -count=8 全绿,
判定为负载敏感 flake(当时两个整树验收 + 子代理并发),已记入开发习惯与约定 §7。
.env.example 补 MEMORY_REVIEW_* 四键(MT-B 无该文件权限,由我按其代码语义补写)。
145 lines
5.5 KiB
Go
145 lines
5.5 KiB
Go
// cyrene 命令是 Cyrene v2 的唯一二进制入口:它把全部子系统(配置、日志、数据库、
|
||
// bus、人格、模型适配器、工具分发器、记忆栈、agent 循环、编排、执行、IoT、渠道
|
||
// 会话与适配器)组装进同一个进程,在单端口(:8080)上同时提供网关与内嵌前端,
|
||
// 并在收到终止信号时优雅退出。
|
||
//
|
||
// 构建:`go build -ldflags="-s -w" -trimpath -o cyrene ./cmd/cyrene/`。
|
||
// 前端必须先构建,SPA 才能被内嵌:`cd frontend/web && npm run build`。
|
||
package main
|
||
|
||
import (
|
||
"context"
|
||
"fmt"
|
||
"io/fs"
|
||
"log/slog"
|
||
"os"
|
||
"path/filepath"
|
||
"time"
|
||
// 内嵌 IANA 时区数据库,让配置的 TZ(config.TZ,默认 "Asia/Shanghai")
|
||
// 在任何平台都能解析:Windows 不自带系统 tzdata,Go 也刻意不捆绑,缺了它
|
||
// 循环的时间注入在 Windows 上会静默失效(internal/runtime/loop/time.go 会记
|
||
// "timezone load failed")。代价约 450 KB,换来二进制自包含。
|
||
_ "time/tzdata"
|
||
|
||
capreg "git.yeij.top/AskaEth/Cyrene_v2/internal/capability/registry"
|
||
"git.yeij.top/AskaEth/Cyrene_v2/internal/config"
|
||
"git.yeij.top/AskaEth/Cyrene_v2/internal/logger"
|
||
"git.yeij.top/AskaEth/Cyrene_v2/internal/platform"
|
||
"git.yeij.top/AskaEth/Cyrene_v2/internal/webui"
|
||
)
|
||
|
||
// envPath 是启动时合并的 .env 文件(仅开发用;生产走 systemd/env_file)。
|
||
// .env 不存在不算错误。
|
||
const envPath = ".env"
|
||
|
||
// shutdownTimeout 是优雅退场的时长上界。
|
||
const shutdownTimeout = 15 * time.Second
|
||
|
||
// externalDistCandidates 是前端覆盖目录的候选清单:按序检查,都不存在才回落到
|
||
// 内嵌 dist;命中的第一个生效。路径相对进程工作目录。
|
||
func externalDistCandidates() []string {
|
||
return []string{
|
||
filepath.Join("frontend", "web", "dist"),
|
||
filepath.Join("frontend", "dist"),
|
||
}
|
||
}
|
||
|
||
// resolveFrontendFS 返回用于伺服 SPA 的文件系统:存在外部 dist 目录时用它
|
||
// (部署期热覆盖),否则用内嵌 dist。
|
||
func resolveFrontendFS(log *slog.Logger) fs.FS {
|
||
for _, dir := range externalDistCandidates() {
|
||
if info, err := os.Stat(dir); err == nil && info.IsDir() {
|
||
log.Info("serving external frontend dist", "dir", dir)
|
||
return os.DirFS(dir)
|
||
}
|
||
}
|
||
log.Info("serving embedded frontend dist")
|
||
return webui.Assets()
|
||
}
|
||
|
||
func main() {
|
||
if err := run(); err != nil {
|
||
fmt.Fprintln(os.Stderr, "cyrene:", err)
|
||
os.Exit(1)
|
||
}
|
||
}
|
||
|
||
// run 启动应用、拉起全部服务与网关,然后阻塞等待终止信号或网关失败。
|
||
func run() error {
|
||
cfg := config.MustLoad(envPath)
|
||
format := logger.FormatText
|
||
if cfg.Env == "production" {
|
||
format = logger.FormatJSON
|
||
}
|
||
logRing := logger.NewRingBuffer(logger.DefaultRingCapacity)
|
||
log := logger.New(logger.Options{Level: cfg.LogLevel, Format: string(format), Ring: logRing})
|
||
log = logger.WithSource(log, "main")
|
||
|
||
ctx, stop := platform.SignalContext()
|
||
defer stop()
|
||
|
||
a, err := newApp(ctx, cfg, log)
|
||
if err != nil {
|
||
return err
|
||
}
|
||
// 可观测性日志追尾:logger 的环形缓冲在上面(网关之前)就建好了,
|
||
// 现在网关已存在,把它交给网关。
|
||
wireGatewayLogBuffer(a, logRing)
|
||
|
||
if err := a.automation.Start(ctx); err != nil {
|
||
return fmt.Errorf("start automations: %w", err)
|
||
}
|
||
a.backthink.Start(ctx)
|
||
// 记忆整理(design/23 §4):低峰定期后台任务。它不做启动即跑 —— 只在
|
||
// 安静时段起点开跑,因此进程重启不会触发一次全库扫描;配置关闭时只记
|
||
// 一条日志并立即返回。
|
||
if a.memoryTidy != nil {
|
||
a.memoryTidy.Start(ctx)
|
||
}
|
||
// 入库前审查(design/23 §15.1 D3):有界后台队列,在 store 的写入路径上
|
||
// 接住每条新记忆。启动即就绪(它不做「启动即跑」,只等写入侧投递);
|
||
// 配置关闭时组合根根本没建它(nil),写入路径逐字与改动前一致。
|
||
if a.memoryReview != nil {
|
||
a.memoryReview.Start(ctx)
|
||
}
|
||
// 文档回收(切片 S7):启动期清扫一次 + 此后按 DOCUMENT_GC_INTERVAL 定时清扫。
|
||
// 它不等这一次跑完就去拉网关(见 wire_document_gc.go 的取舍 1)。
|
||
a.startDocumentGC(ctx)
|
||
// 渠道事件留存维护(切片 E3+E4):保留期清扫一次 + 此后定时清扫,内存计数
|
||
// 按 CHANNEL_EVENT_COUNTER_FLUSH 定时落盘(退出前最后一次落盘在循环里)。
|
||
a.startChannelEvents(ctx)
|
||
// 链路图留存维护(切片 F2):保留期清扫一次 + 此后按 FLOW_GRAPH_GC_INTERVAL 定时清扫。
|
||
// 没有它,落盘的轮次图会**无限增长**(design/19 §4 P3 的 GC 口径)。
|
||
a.startFlowGraphs(ctx)
|
||
// LLM 用量落库与保留期清理(切片 U1):单写者 + 有界队列的异步写入器,
|
||
// 加上按 LLM_USAGE_RETENTION 的过期样本清理。
|
||
a.startUsage(ctx)
|
||
a.log.Info("cyrene subsystems started",
|
||
"personas", a.personas.CountPersonas(),
|
||
"tools", len(a.caps.List(capreg.KindTool)),
|
||
"channels", len(a.caps.List(capreg.KindChannel)))
|
||
a.log.Info("cyrene ready", "data_dir", resolveDataDir(cfg))
|
||
|
||
errCh, err := a.gw.Start(ctx)
|
||
if err != nil {
|
||
return fmt.Errorf("start gateway: %w", err)
|
||
}
|
||
|
||
select {
|
||
case <-ctx.Done():
|
||
a.log.Info("cyrene signal received, shutting down")
|
||
case gwErr := <-errCh:
|
||
if gwErr != nil {
|
||
shutCtx, cancel := context.WithTimeout(context.Background(), shutdownTimeout)
|
||
defer cancel()
|
||
a.close(shutCtx)
|
||
return fmt.Errorf("gateway failed: %w", gwErr)
|
||
}
|
||
}
|
||
|
||
shutCtx, cancel := context.WithTimeout(context.Background(), shutdownTimeout)
|
||
defer cancel()
|
||
a.close(shutCtx)
|
||
return nil
|
||
}
|