Files
Cyrene_v2/internal/runtime/loop/span_write_redaction_test.go
T
AskaEth 6d0df6a825 fix(trace): 白名单放行 session —— 归属标识可读,正文边界不动
主人 2026-10-26 裁定:session 是**业务标识**,不是正文。它是排障时把一条 stderr
日志对回某个会话的唯一线索;而 /admin/flow/graph 本来就按会话返回、连 sessionId
都给了,图里多一个 session 不构成新的暴露。因此把 session 加进共享白名单
(safePropKeys,走 redactValue 的普通清洗),不再被写侧折成 Digest。

「不放宽白名单」仍是原则:本次只放行这一个键,正文的边界一个字没动 ——

- trace 侧新增 TestJSONRecorder_KeepsSessionReadableDropsBody,**一条用例同时钉
  两件相反的事**:JSONL 里 `"session":"web#lane-2"` 原文可读;同一 span 里的
  result / text 哨兵正文仍然搜不到,且只在 omitted 里留下体积与指纹。
- loop 侧真循环用例补一句断言:落盘里 `"session":"sess"` 可读,而工具结果哨兵
  同时仍不可见。
- 变异验证:把 session 从白名单摘掉,上述两处都会变红(session 落到 omitted)。

回归:go build ./... + go vet ./... + go test -count=1 ./... 全绿;
trace/loop/orchestration 另跑 -race 全绿。
2026-10-26 13:20:45 +08:00

200 lines
7.5 KiB
Go
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
package loop
import (
"bytes"
"context"
"encoding/json"
"strings"
"sync"
"testing"
"git.yeij.top/AskaEth/Cyrene_v2/internal/runtime/model"
"git.yeij.top/AskaEth/Cyrene_v2/internal/runtime/trace"
)
// 本文件钉住 M40 的工具侧写盘边界,分两层各钉一遍:
//
// - **循环层**:真跑一次循环,按 writer 收到的**原始 SpanRecord**断言 —— tool
// span 里根本没有 `result` 原文(曾经是原样落盘的工具结果全文,M38 排查出的
// 最严重一条),只有 result_summary(已脱敏、已截断,供回看面读)与
// result_digest(字节/rune/sha256 前缀);
// - **写侧**:同一份记录的 stderr JSONL 字节里搜不到正文。
//
// 两层分开断言是刻意的:只测 JSONL 的话,写侧白名单会替循环层的漏做遮挡,把
// 「span 里曾经存着正文」这件事测不出来(反过来也一样)。
//
// 口径:工具结果正文留在会话库,span 只留摘要与指纹 —— 于是「成功还是失败、
// 输出多大、两次是不是同一份」仍可分辨,脱敏不该把 span 变得没用。
// captureWriter 收下每个 span 的**原始**记录(未经写侧投影),供测试按 span 层断言。
type captureWriter struct {
mu sync.Mutex
recs []trace.SpanRecord
}
// WriteSpan 记录一份 span。
func (c *captureWriter) WriteSpan(rec trace.SpanRecord) error {
c.mu.Lock()
defer c.mu.Unlock()
c.recs = append(c.recs, rec)
return nil
}
// snapshot 返回已收集记录的副本。
func (c *captureWriter) snapshot() []trace.SpanRecord {
c.mu.Lock()
defer c.mu.Unlock()
out := make([]trace.SpanRecord, len(c.recs))
copy(out, c.recs)
return out
}
// teeWriter 把同一份 span 同时交给「原始记录捕获器」与 JSONL 记录器,使两层
// 断言落在同一次运行上。
type teeWriter []trace.Writer
// WriteSpan 依次写入每个出口,返回第一个错误。
func (t teeWriter) WriteSpan(rec trace.SpanRecord) error {
var firstErr error
for _, w := range t {
if err := w.WriteSpan(rec); err != nil && firstErr == nil {
firstErr = err
}
}
return firstErr
}
// runToolTurnTraced 跑一个「一次工具调用 + 收尾」的回合,返回原始 span 记录与
// stderr JSONL 的原始字节。
func runToolTurnTraced(t *testing.T, toolResult any, toolErr error) ([]trace.SpanRecord, string) {
t.Helper()
call := `{"tool_calls":[{"name":"echo","args":{"q":"hi"}}]}`
ad := &mockAdapter{chat: []mgResp{
{resp: model.Response{Content: call}},
{resp: model.Response{Content: "done"}},
}}
td := dispatcherWith(t, &mockTool{name: "echo", result: toolResult, err: toolErr})
a := newTestAgent(t, ad, td)
var buf bytes.Buffer
capture := &captureWriter{}
writer := teeWriter{capture, trace.NewJSONRecorder(&buf)}
l := New(Options{Agent: a, Tracer: trace.New(writer), MaxRounds: 8})
if _, err := l.Run(context.Background(), "sess", []model.Message{model.TextMessage(model.RoleUser, "go")}); err != nil {
t.Fatalf("Run: %v", err)
}
return capture.snapshot(), buf.String()
}
// TestRun_ToolResultNeverEntersSpan 是循环层的泄漏钉:工具结果里有一段哨兵正文,
// span 的 props 与 stderr JSONL 里都搜不到它。
//
// 哨兵刻意放在**摘要窗口之外**:结果摘要(result_summary,回看面要读的那份)按
// 设计就是结果的有界前缀(80 rune),它是摘要、不是正文 —— 本测试钉的是「整段
// 结果不再落盘」,因此不能把断言的前提设成「连摘要都不许有」。
func TestRun_ToolResultNeverEntersSpan(t *testing.T) {
t.Parallel()
const sentinel = "SENTINEL-TOOL-BODY-3b7d-工具结果的后半段"
result := strings.Repeat("拿到的报表行:", 40) + sentinel
recs, raw := runToolTurnTraced(t, result, nil)
span := toolSpanOf(t, recs)
if _, ok := span.Props["result"]; ok {
t.Fatalf("tool span 仍带着 result 原文:%+v", span.Props)
}
if _, ok := span.Props["text"]; ok {
t.Fatalf("tool span 带着 text 原文:%+v", span.Props)
}
propsBlob := mustMarshal(t, span.Props)
if strings.Contains(propsBlob, sentinel) {
t.Fatalf("tool span 的 props 带着正文:%s", propsBlob)
}
digest, ok := span.Props["result_digest"].(trace.Digest)
if !ok {
t.Fatalf("tool span 没有 result_digest:%+v", span.Props)
}
if digest.Bytes != len(result) {
t.Fatalf("result_digest.Bytes = %d, want %d(输出大小必须仍可读)", digest.Bytes, len(result))
}
summary, _ := span.Props["result_summary"].(string)
if summary == "" {
t.Fatalf("result_summary 缺席:回看面会失去结果摘要:%+v", span.Props)
}
if n := len([]rune(summary)); n > 81 {
t.Fatalf("result_summary 长度 = %d rune,want 有界(摘要不是正文)", n)
}
// 写侧:同一份记录落盘后仍搜不到正文,也不含任何结果原文的长尾。
if strings.Contains(raw, sentinel) {
t.Fatalf("工具结果正文落进了 JSONL:%s", raw)
}
if strings.Contains(raw, strings.Repeat("拿到的报表行:", 16)) {
t.Fatalf("JSONL 里出现了超出一份摘要的结果原文:%s", raw)
}
// 归属标识反而必须原文可读(主人 2026-10-26 裁定:session 是业务标识,不是
// 正文;排障要把一条 stderr 日志对回某个会话)。它可读与正文不可见并不矛盾,
// 这一条与上一条同时成立才是这一片的验收口径。
if !strings.Contains(raw, `"session":"sess"`) {
t.Fatalf("JSONL 里 session 不可读:%s", raw)
}
}
// TestRun_ToolSpanStillTellsOKFromError 是「脱敏不能把 span 变得没用」的验收钉:
// 成功与失败在落盘上仍可分辨 —— 终态不同、失败的带已脱敏的 error、输出体积可读。
func TestRun_ToolSpanStillTellsOKFromError(t *testing.T) {
t.Parallel()
const secret = "abcdef1234567890"
small := "ok"
large := strings.Repeat("失", 500)
okRecs, okRaw := runToolTurnTraced(t, small, nil)
badRecs, badRaw := runToolTurnTraced(t, nil, &toolFailErr{msg: "boom: token=" + secret + " " + large})
okSpan, badSpan := toolSpanOf(t, okRecs), toolSpanOf(t, badRecs)
if okSpan.Status != trace.SpanStatusOK || badSpan.Status != trace.SpanStatusError {
t.Fatalf("status = %q / %q,成功与失败必须仍可分辨", okSpan.Status, badSpan.Status)
}
okDigest, _ := okSpan.Props["result_digest"].(trace.Digest)
if okDigest.Bytes != len(small) {
t.Fatalf("成功调用的 result_digest.Bytes = %d, want %d", okDigest.Bytes, len(small))
}
// 失败侧写盘面:错误原因仍可读("boom"),凭据已打码,长度有界。
for _, surface := range []string{okRaw, badRaw} {
if strings.Contains(surface, secret) {
t.Fatalf("JSONL 带着凭据原文:%s", surface)
}
}
if !strings.Contains(badRaw, "boom") {
t.Fatalf("失败落盘里没有可诊断的原因:%s", badRaw)
}
if strings.Contains(badRaw, large) {
t.Fatalf("失败落盘里带着整段错误文本:%s", badRaw)
}
}
// toolFailErr 是一个只提供 Error() 的工具失败(模拟工具自己拼的错误文本)。
type toolFailErr struct{ msg string }
func (e *toolFailErr) Error() string { return e.msg }
// toolSpanOf 在记录里取那条工具 span。
func toolSpanOf(t *testing.T, recs []trace.SpanRecord) trace.SpanRecord {
t.Helper()
for _, rec := range recs {
if rec.Name == "tool.echo" {
return rec
}
}
t.Fatalf("记录里没有 tool.echo span:%+v", recs)
return trace.SpanRecord{}
}
// mustMarshal 把一段东西序列化成 JSON 文本,用于「搜不到正文」的断言。
func mustMarshal(t *testing.T, v any) string {
t.Helper()
b, err := json.Marshal(v)
if err != nil {
t.Fatalf("marshal: %v", err)
}
return string(b)
}