AskaEth
be38651ba4
- model 层新增可选 UsageSink（nil ⇒ 逐字不变，既有用例零改动） - 组合根注入 UsageWriter：有界队列 1024 + 单写者 + 批量事务（128/批、2s 兜底）， 队列满丢弃 + 限流 WARN，绝不阻塞模型调用；sink 挂 RuntimeLLM（热重载不断） - 迁移 0017：表 llm_usage（13 列，session_id 可空）+ idx_created_at + idx_session_id - 新端点 GET /api/v1/admin/llm/usage（owner|admin 读；缺省近 24h、上限 90 天、 超限 400 不静默裁剪；hitRate = cacheHit/(cacheHit+cacheMiss)，分母 0 ⇒ 0； 绝不含凭据与正文；未接线/查库失败 ⇒ 500 usage_unavailable） - LLM_USAGE_RETENTION（默认 720h，≤0 = 关闭清理）：启动清一次 + 每小时 - 面板 LLM 页「用量（近 24h）」小卡 + Docs 两份同步 v0.64 - 已知缺口（如实登记）：session_id 恒 NULL，需 loop 侧在请求上打标，留列后接
127 lines
4.4 KiB
Go
127 lines
4.4 KiB
Go
// cyrene 命令是 Cyrene v2 的唯一二进制入口：它把全部子系统（配置、日志、数据库、
|
||
// bus、人格、模型适配器、工具分发器、记忆栈、agent 循环、编排、执行、IoT、渠道
|
||
// 会话与适配器）组装进同一个进程，在单端口（:8080）上同时提供网关与内嵌前端，
|
||
// 并在收到终止信号时优雅退出。
|
||
//
|
||
// 构建：`go build -ldflags="-s -w" -trimpath -o cyrene ./cmd/cyrene/`。
|
||
// 前端必须先构建，SPA 才能被内嵌：`cd frontend/web && npm run build`。
|
||
package main
|
||
|
||
import (
|
||
"context"
|
||
"fmt"
|
||
"io/fs"
|
||
"log/slog"
|
||
"os"
|
||
"path/filepath"
|
||
"time"
|
||
// 内嵌 IANA 时区数据库，让配置的 TZ（config.TZ，默认 "Asia/Shanghai"）
|
||
// 在任何平台都能解析：Windows 不自带系统 tzdata，Go 也刻意不捆绑，缺了它
|
||
// 循环的时间注入在 Windows 上会静默失效（internal/runtime/loop/time.go 会记
|
||
// "timezone load failed"）。代价约 450 KB，换来二进制自包含。
|
||
_ "time/tzdata"
|
||
|
||
capreg "git.yeij.top/AskaEth/Cyrene_v2/internal/capability/registry"
|
||
"git.yeij.top/AskaEth/Cyrene_v2/internal/config"
|
||
"git.yeij.top/AskaEth/Cyrene_v2/internal/logger"
|
||
"git.yeij.top/AskaEth/Cyrene_v2/internal/platform"
|
||
"git.yeij.top/AskaEth/Cyrene_v2/internal/webui"
|
||
)
|
||
|
||
// envPath 是启动时合并的 .env 文件（仅开发用；生产走 systemd/env_file）。
|
||
// .env 不存在不算错误。
|
||
const envPath = ".env"
|
||
|
||
// shutdownTimeout 是优雅退场的时长上界。
|
||
const shutdownTimeout = 15 * time.Second
|
||
|
||
// externalDistCandidates 是前端覆盖目录的候选清单：按序检查，都不存在才回落到
|
||
// 内嵌 dist；命中的第一个生效。路径相对进程工作目录。
|
||
func externalDistCandidates() []string {
|
||
return []string{
|
||
filepath.Join("frontend", "web", "dist"),
|
||
filepath.Join("frontend", "dist"),
|
||
}
|
||
}
|
||
|
||
// resolveFrontendFS 返回用于伺服 SPA 的文件系统：存在外部 dist 目录时用它
|
||
// （部署期热覆盖），否则用内嵌 dist。
|
||
func resolveFrontendFS(log *slog.Logger) fs.FS {
|
||
for _, dir := range externalDistCandidates() {
|
||
if info, err := os.Stat(dir); err == nil && info.IsDir() {
|
||
log.Info("serving external frontend dist", "dir", dir)
|
||
return os.DirFS(dir)
|
||
}
|
||
}
|
||
log.Info("serving embedded frontend dist")
|
||
return webui.Assets()
|
||
}
|
||
|
||
func main() {
|
||
if err := run(); err != nil {
|
||
fmt.Fprintln(os.Stderr, "cyrene:", err)
|
||
os.Exit(1)
|
||
}
|
||
}
|
||
|
||
// run 启动应用、拉起全部服务与网关，然后阻塞等待终止信号或网关失败。
|
||
func run() error {
|
||
cfg := config.MustLoad(envPath)
|
||
format := logger.FormatText
|
||
if cfg.Env == "production" {
|
||
format = logger.FormatJSON
|
||
}
|
||
logRing := logger.NewRingBuffer(logger.DefaultRingCapacity)
|
||
log := logger.New(logger.Options{Level: cfg.LogLevel, Format: string(format), Ring: logRing})
|
||
log = logger.WithSource(log, "main")
|
||
|
||
ctx, stop := platform.SignalContext()
|
||
defer stop()
|
||
|
||
a, err := newApp(ctx, cfg, log)
|
||
if err != nil {
|
||
return err
|
||
}
|
||
// 可观测性日志追尾：logger 的环形缓冲在上面（网关之前）就建好了，
|
||
// 现在网关已存在，把它交给网关。
|
||
wireGatewayLogBuffer(a, logRing)
|
||
|
||
if err := a.automation.Start(ctx); err != nil {
|
||
return fmt.Errorf("start automations: %w", err)
|
||
}
|
||
a.backthink.Start(ctx)
|
||
// 文档回收（切片 S7）：启动期清扫一次 + 此后按 DOCUMENT_GC_INTERVAL 定时清扫。
|
||
// 它不等这一次跑完就去拉网关（见 wire_document_gc.go 的取舍 1）。
|
||
a.startDocumentGC(ctx)
|
||
// LLM 用量落库与保留期清理（切片 U1）：单写者 + 有界队列的异步写入器，
|
||
// 加上按 LLM_USAGE_RETENTION 的过期样本清理。
|
||
a.startUsage(ctx)
|
||
a.log.Info("cyrene subsystems started",
|
||
"personas", a.personas.CountPersonas(),
|
||
"tools", len(a.caps.List(capreg.KindTool)),
|
||
"channels", len(a.caps.List(capreg.KindChannel)))
|
||
a.log.Info("cyrene ready", "data_dir", resolveDataDir(cfg))
|
||
|
||
errCh, err := a.gw.Start(ctx)
|
||
if err != nil {
|
||
return fmt.Errorf("start gateway: %w", err)
|
||
}
|
||
|
||
select {
|
||
case <-ctx.Done():
|
||
a.log.Info("cyrene signal received, shutting down")
|
||
case gwErr := <-errCh:
|
||
if gwErr != nil {
|
||
shutCtx, cancel := context.WithTimeout(context.Background(), shutdownTimeout)
|
||
defer cancel()
|
||
a.close(shutCtx)
|
||
return fmt.Errorf("gateway failed: %w", gwErr)
|
||
}
|
||
}
|
||
|
||
shutCtx, cancel := context.WithTimeout(context.Background(), shutdownTimeout)
|
||
defer cancel()
|
||
a.close(shutCtx)
|
||
return nil
|
||
}
|