fix(gateway,history): REST 流式不再静默失败（G2）+ clientMsgId 幂等（G4）（协同 §G，均标「中高/中」）
- G2：`stream:true` 原经**有损总线**且**先回 200** ⇒ 总线饱和时客户端拿到 200 却什么都没发生。
改为**直达编排器**（与 ws chat 帧既有先例同一原则）：新文件 chat_stream_dispatch.go；200 变成有意义的
承诺（同步穿过「编排器接收 + 用户消息落库」才回）；顺带对齐 `202 {queued,queueDepth}` / `409 chat_busy`；
兜底路径（未接编排器才走总线）现在**返回错误**、ctx 与请求脱钩（WithoutCancel + 30min 上界）→ `503 chat_dispatch_failed`；
未接 loop 由 200 改为 `500 chat_unavailable`（与同步路径同口径，已同步改既有用例并新增钉住用例）
- G4：`chat`（WS 帧 + REST 体）新增**可选** `clientMsgId` ⇒ 幂等。
原子性两层，均非「先查再插」：① 同进程在 `o.mu` 同一临界区内完成「查认领表→查存储→预分配 id→认领」；
② 跨重启靠 `(session_id, client_msg_id)` **部分**唯一索引 + `INSERT … ON CONFLICT DO NOTHING`（命中则读回既有行）。
重复语义：REST `200 {duplicate:true, messageId}`；WS 新帧 `chat_duplicate`（owner/admin 档）；重复**不落库、不起回合**。
`clientMsgId` 回填进 DTO ⇒ `message_persisted` 与读接口都可见（客户端可据此对齐本地气泡，不再靠文本相等）
- 迁移 `0013_chat_client_msg_id`（up：加列 + 部分唯一索引 `idx_chat_messages_client_msg_id`；down：先删索引再删列），
已在 `data/cyrene.db` **副本**上验 up → 判重 → down → 再 up
- 拆分：store.go 647→498 行（`log_reads.go` 抽走四个读路径）；七个 SELECT 清单抽成 `messageColumns` 一处
- 复核：**全树 `go test ./... -count=1` 0 FAIL** + build/vet 绿 + linux/darwin 交叉编译绿；
四条真断言（总线饱和仍落库出帧且 `ws.chat` 零发布 / 同键两次仅一回合＋并发两条也仅一回合 / 省略键逐字不变 /
迁移副本 up-down-up）；**3 条变异反证**均已还原
- 越界说明（均已报备）：`history.go` DTO 字段（否则「读接口可见」不可能）、`policy_store_test.go`
（0013 使「回滚最后一步 == 0012」前提失效，改为按 schema_migrations 现算）、`extra_test.go`（补 runner）
- 顺带补交 P0-A 遗漏的新测试文件 `loop/memory_writeback_test.go`
This commit is contained in:
AskaEth committed
1 parent
da3a386daf
commit
7512d593c2
18 files changed
+1573
-216
No files matched your search
@@ -106,7 +106,14 @@ type Message struct {
|
||||
// 一致。它只是展示/归属元数据：身份与权限由渠道 actor 元数据决定
|
||||
// （项目红线）。
|
||||
PersonaID string
|
||||
CreatedAt int64
|
||||
// ClientMsgID 是客户端为这条消息生成的幂等键（Android 协同 §G4）—— 通常是
|
||||
// 一条乐观气泡的本地 id，也正因此它必须原样回填并可见：客户端用它把本地
|
||||
// 气泡与服务端真相对齐，而不是靠「文本相等」这类脆弱匹配。同一会话内同一
|
||||
// 非空键只允许一条消息（部分唯一索引裁决，见 client_msg_id.go）。空串意味着
|
||||
// 「这条消息没有幂等键」（老客户端、IM 镜像、历史行），行为与加入该列之前
|
||||
// 逐字相同。
|
||||
ClientMsgID string
|
||||
CreatedAt int64
|
||||
}
|
||||
|
||||
// SessionMeta 是一个持久化会话面向线上的元数据。
|
||||
@@ -221,18 +228,31 @@ type rowScanner interface {
|
||||
}
|
||||
|
||||
// NewStore 在 db 上构建一个 Store，确保 chat_sessions/chat_messages schema 存在
|
||||
// 且固定主会话行在位。该 DDL 与 0003 迁移一致；它是幂等的，因此存储自足、可从
|
||||
// 任意 *sql.DB 使用，与 memory 和 session 包一致。db 必须可用；nil 返回
|
||||
// ErrNilDB。log 可以为 nil。
|
||||
// 且固定主会话行在位。该 DDL 与 0003 迁移一致（列清单随后续迁移同步增长，见
|
||||
// client_msg_id.go）；它是幂等的，因此存储自足、可从任意 *sql.DB 使用，与
|
||||
// memory 和 session 包一致。db 必须可用；nil 返回 ErrNilDB。log 可以为 nil。
|
||||
func NewStore(ctx context.Context, db *sql.DB, log *slog.Logger) (*Store, error) {
|
||||
if db == nil {
|
||||
return nil, ErrNilDB
|
||||
}
|
||||
log = logger.WithSource(discardLogger(log), "history")
|
||||
// 顺序不能反：createMessagesTable 对全新库已含 client_msg_id，随后
|
||||
// ensureClientMsgIDColumn 把早于该列建出的既有表前滚（幂等），最后才建索引
|
||||
// —— 部分唯一索引引用 client_msg_id，列还不存在时建它必然失败。
|
||||
for _, ddl := range []string{
|
||||
createSessionsTable,
|
||||
createMessagesTable,
|
||||
} {
|
||||
if _, err := db.ExecContext(ctx, ddl); err != nil {
|
||||
return nil, fmt.Errorf("history: apply schema: %w", err)
|
||||
}
|
||||
}
|
||||
if err := ensureClientMsgIDColumn(ctx, db); err != nil {
|
||||
return nil, err
|
||||
}
|
||||
for _, ddl := range []string{
|
||||
createMessagesIndex,
|
||||
createClientMsgIDIndex,
|
||||
} {
|
||||
if _, err := db.ExecContext(ctx, ddl); err != nil {
|
||||
return nil, fmt.Errorf("history: apply schema: %w", err)
|
||||
@@ -262,6 +282,12 @@ func (s *Store) AppendFull(ctx context.Context, msg Message) (Message, error) {
|
||||
|
||||
// insert 是 Append/AppendFull 共用的主体。它在调用方把 id/CreatedAt 留空/留零时
|
||||
// 分配新的 id 与现在的毫秒时间戳，然后插入该行并返回得到的消息。
|
||||
//
|
||||
// msg.ClientMsgID 非空时（Android 协同 §G4，客户端幂等键）写入走
|
||||
// ON CONFLICT DO NOTHING，由 (session_id, client_msg_id) 的部分唯一索引**原子**
|
||||
// 裁决谁写下了这一行；命中冲突时不写入，改读回既有那一行返回（因此调用方拿到
|
||||
// 的是权威消息，而不是一条并不存在的「刚插入的行」）。判重不在这里「先查再插」
|
||||
// —— 那是两个并发重发都能通过检查、然后双双插入的竞态。
|
||||
func (s *Store) insert(ctx context.Context, msg Message) (Message, error) {
|
||||
if msg.ID == "" {
|
||||
id, err := newID()
|
||||
@@ -279,14 +305,27 @@ func (s *Store) insert(ctx context.Context, msg Message) (Message, error) {
|
||||
if msg.Role == RoleUser {
|
||||
s.ensureTitle(ctx, msg.SessionID, msg.Content)
|
||||
}
|
||||
_, err := s.db.ExecContext(ctx, `INSERT INTO chat_messages
|
||||
(id, session_id, role, content, mode, mood, image, thinking, platform, device_id, sender_name, adapter_id, persona_id, created_at)
|
||||
VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)`,
|
||||
query := `INSERT INTO chat_messages
|
||||
(id, session_id, role, content, mode, mood, image, thinking, platform, device_id, sender_name, adapter_id, persona_id, client_msg_id, created_at)
|
||||
VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)`
|
||||
if msg.ClientMsgID != "" {
|
||||
query += ` ON CONFLICT DO NOTHING`
|
||||
}
|
||||
res, err := s.db.ExecContext(ctx, query,
|
||||
msg.ID, msg.SessionID, msg.Role, msg.Content, msg.Mode, msg.Mood,
|
||||
msg.Image, msg.Thinking, msg.Platform, msg.DeviceID, msg.SenderName, msg.AdapterID, msg.PersonaID, msg.CreatedAt)
|
||||
msg.Image, msg.Thinking, msg.Platform, msg.DeviceID, msg.SenderName, msg.AdapterID, msg.PersonaID, msg.ClientMsgID, msg.CreatedAt)
|
||||
if err != nil {
|
||||
return Message{}, fmt.Errorf("history: append %s to %s: %w", msg.Role, msg.SessionID, err)
|
||||
}
|
||||
if msg.ClientMsgID != "" {
|
||||
n, err := res.RowsAffected()
|
||||
if err != nil {
|
||||
return Message{}, fmt.Errorf("history: append %s to %s: %w", msg.Role, msg.SessionID, err)
|
||||
}
|
||||
if n == 0 {
|
||||
return s.FindByClientMsgID(ctx, msg.SessionID, msg.ClientMsgID)
|
||||
}
|
||||
}
|
||||
return msg, nil
|
||||
}
|
||||
|
||||
@@ -297,7 +336,7 @@ func (s *Store) insert(ctx context.Context, msg Message) (Message, error) {
|
||||
// 通道）。返回切片非 nil。limit 钳制到 [1, maxPageLimit]。
|
||||
func (s *Store) List(ctx context.Context, sessionID string, before int64, limit int, platform string) ([]Message, error) {
|
||||
limit = clampLimit(limit)
|
||||
query := `SELECT id, session_id, role, content, mode, mood, image, thinking, platform, device_id, sender_name, adapter_id, persona_id, created_at
|
||||
query := `SELECT ` + messageColumns + `
|
||||
FROM chat_messages WHERE session_id = ?`
|
||||
args := []any{sessionID}
|
||||
if before > 0 {
|
||||
@@ -331,155 +370,6 @@ func (s *Store) List(ctx context.Context, sessionID string, before int64, limit
|
||||
return msgs, nil
|
||||
}
|
||||
|
||||
// ListPlatformLog 按最新优先返回 platform 跨所有非主（隔离）会话的至多 limit
|
||||
// 条消息。主会话消息被排除，因此只有该平台自己的消息流（群聊 + 陌生人私聊）
|
||||
// 浮现到适配器日志页（design/16 §4.6 §4）。before 是毫秒游标；非零时只返回
|
||||
// 严格更旧的消息。返回切片非 nil。
|
||||
func (s *Store) ListPlatformLog(ctx context.Context, platform string, before int64, limit int) ([]Message, error) {
|
||||
limit = clampLimit(limit)
|
||||
query := `SELECT id, session_id, role, content, mode, mood, image, thinking, platform, device_id, sender_name, adapter_id, persona_id, created_at
|
||||
FROM chat_messages WHERE platform = ? AND session_id != ?`
|
||||
args := []any{platform, MainSessionID}
|
||||
if before > 0 {
|
||||
query += ` AND created_at < ?`
|
||||
args = append(args, before)
|
||||
}
|
||||
query += ` ORDER BY created_at DESC LIMIT ?`
|
||||
args = append(args, limit)
|
||||
|
||||
rows, err := s.db.QueryContext(ctx, query, args...)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("history: platform log %s: %w", platform, err)
|
||||
}
|
||||
defer func() { _ = rows.Close() }()
|
||||
|
||||
msgs := make([]Message, 0)
|
||||
for rows.Next() {
|
||||
m, err := scanMessage(rows)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("history: scan platform log %s: %w", platform, err)
|
||||
}
|
||||
msgs = append(msgs, m)
|
||||
}
|
||||
if err := rows.Err(); err != nil {
|
||||
return nil, fmt.Errorf("history: iterate platform log %s: %w", platform, err)
|
||||
}
|
||||
return msgs, nil
|
||||
}
|
||||
|
||||
// ListAdapterLog 按最新优先返回单个 IM 适配器（平台 + 账号注册名，例如
|
||||
// "kook:3bef..."）的至多 limit 条消息，供按适配器的日志页使用。它不排除主 Web
|
||||
// 会话：主人的 IM 私聊住在主会话里但仍携带 adapter_id，因此按适配器的日志包含
|
||||
// 主人镜像。adapterID 为空时返回空（非 nil）切片。before 是毫秒游标；非零时只
|
||||
// 返回严格更旧的消息。返回切片非 nil。
|
||||
func (s *Store) ListAdapterLog(ctx context.Context, adapterID string, before int64, limit int) ([]Message, error) {
|
||||
limit = clampLimit(limit)
|
||||
if adapterID == "" {
|
||||
return make([]Message, 0), nil
|
||||
}
|
||||
query := `SELECT id, session_id, role, content, mode, mood, image, thinking, platform, device_id, sender_name, adapter_id, persona_id, created_at
|
||||
FROM chat_messages WHERE adapter_id = ?`
|
||||
args := []any{adapterID}
|
||||
if before > 0 {
|
||||
query += ` AND created_at < ?`
|
||||
args = append(args, before)
|
||||
}
|
||||
query += ` ORDER BY created_at DESC LIMIT ?`
|
||||
args = append(args, limit)
|
||||
|
||||
rows, err := s.db.QueryContext(ctx, query, args...)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("history: adapter log %s: %w", adapterID, err)
|
||||
}
|
||||
defer func() { _ = rows.Close() }()
|
||||
|
||||
msgs := make([]Message, 0)
|
||||
for rows.Next() {
|
||||
m, err := scanMessage(rows)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("history: scan adapter log %s: %w", adapterID, err)
|
||||
}
|
||||
msgs = append(msgs, m)
|
||||
}
|
||||
if err := rows.Err(); err != nil {
|
||||
return nil, fmt.Errorf("history: iterate adapter log %s: %w", adapterID, err)
|
||||
}
|
||||
return msgs, nil
|
||||
}
|
||||
|
||||
// ListAllLog 按最新优先返回跨所有 IM 适配器来源（adapter_id 非空）的至多 limit
|
||||
// 条消息，供适配器总览页使用。before 是毫秒游标；非零时只返回严格更旧的消息。
|
||||
// 返回切片非 nil。
|
||||
func (s *Store) ListAllLog(ctx context.Context, before int64, limit int) ([]Message, error) {
|
||||
limit = clampLimit(limit)
|
||||
query := `SELECT id, session_id, role, content, mode, mood, image, thinking, platform, device_id, sender_name, adapter_id, persona_id, created_at
|
||||
FROM chat_messages WHERE adapter_id != ''`
|
||||
var args []any
|
||||
if before > 0 {
|
||||
query += ` AND created_at < ?`
|
||||
args = append(args, before)
|
||||
}
|
||||
query += ` ORDER BY created_at DESC LIMIT ?`
|
||||
args = append(args, limit)
|
||||
|
||||
rows, err := s.db.QueryContext(ctx, query, args...)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("history: all adapter log: %w", err)
|
||||
}
|
||||
defer func() { _ = rows.Close() }()
|
||||
|
||||
msgs := make([]Message, 0)
|
||||
for rows.Next() {
|
||||
m, err := scanMessage(rows)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("history: scan all adapter log: %w", err)
|
||||
}
|
||||
msgs = append(msgs, m)
|
||||
}
|
||||
if err := rows.Err(); err != nil {
|
||||
return nil, fmt.Errorf("history: iterate all adapter log: %w", err)
|
||||
}
|
||||
return msgs, nil
|
||||
}
|
||||
|
||||
// Recent 按最旧优先返回 sessionID 最近的 n 条消息（最靠尾部的那段窗口），供
|
||||
// WS 回放 / 上下文尾部使用。返回切片非 nil。
|
||||
//
|
||||
// 并列打破（裁决 13.4.5 的上下文「最新性/一致性」）：同一毫秒写入的多条消息
|
||||
// 在 created_at 上并列，而 Windows 上 time.Now() 的步长本就约 0.44ms —— 用户
|
||||
// 连发多条（design/15 §2.1 的忙碌续接场景）时并列是常态。`rowid DESC` 让 LIMIT
|
||||
// 取到的是**最后插入**的那几条（否则窗口会留下更旧的、丢掉刚发出的），而反转后
|
||||
// 同毫秒内即回到插入顺序，使续接窗口的时序与真实对话一致。该口径与 ListAfter
|
||||
// 的「rowid 打破 created_at 的并列」相同。
|
||||
func (s *Store) Recent(ctx context.Context, sessionID string, n int) ([]Message, error) {
|
||||
if n < 1 {
|
||||
n = defaultPageLimit
|
||||
}
|
||||
rows, err := s.db.QueryContext(ctx, `SELECT id, session_id, role, content, mode, mood, image, thinking, platform, device_id, sender_name, adapter_id, persona_id, created_at
|
||||
FROM chat_messages WHERE session_id = ? ORDER BY created_at DESC, rowid DESC LIMIT ?`, sessionID, n)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("history: recent %s: %w", sessionID, err)
|
||||
}
|
||||
defer func() { _ = rows.Close() }()
|
||||
|
||||
// Recent 让最新的排在最后，使窗口处于时间顺序；先按查询顺序构建再原地反转。
|
||||
msgs := make([]Message, 0)
|
||||
for rows.Next() {
|
||||
m, err := scanMessage(rows)
|
||||
if err != nil {
|
||||
return nil, fmt.Errorf("history: scan recent %s: %w", sessionID, err)
|
||||
}
|
||||
msgs = append(msgs, m)
|
||||
}
|
||||
if err := rows.Err(); err != nil {
|
||||
return nil, fmt.Errorf("history: iterate recent %s: %w", sessionID, err)
|
||||
}
|
||||
for i, j := 0, len(msgs)-1; i < j; i, j = i+1, j-1 {
|
||||
msgs[i], msgs[j] = msgs[j], msgs[i]
|
||||
}
|
||||
return msgs, nil
|
||||
}
|
||||
|
||||
// DeleteSession 在一个事务中删除一个子会话及其全部消息。固定主会话不可变，
|
||||
// 返回 ErrImmutableMain（design/16 §6）。
|
||||
func (s *Store) DeleteSession(ctx context.Context, sessionID string) error {
|
||||
@@ -523,11 +413,18 @@ func (s *Store) ensureMainSession(ctx context.Context) error {
|
||||
return nil
|
||||
}
|
||||
|
||||
// scanMessage 读取一行 chat_messages。消息各列按位置扫描。
|
||||
// messageColumns 是 scanMessage 期望的 chat_messages 列清单，也是每条读取
|
||||
// 语句（List/ListAfter/Recent/Search/messageByID/FindByClientMsgID）共用的
|
||||
// **唯一**一份列清单（位置顺序必须与 scanMessage 的 Scan 完全一致）。
|
||||
// 它刻意只写一次：此前七个查询各抄一份，加一列就得改七处，漏一处就只会在
|
||||
// 运行时以「扫描到的列数与列不清单不符」炸掉；共用常量让漏改成为不可能。
|
||||
const messageColumns = `id, session_id, role, content, mode, mood, image, thinking, platform, device_id, sender_name, adapter_id, persona_id, client_msg_id, created_at`
|
||||
|
||||
// scanMessage 读取一行 chat_messages。消息各列按位置扫描，顺序见 messageColumns。
|
||||
func scanMessage(sc rowScanner) (Message, error) {
|
||||
var m Message
|
||||
var mode, mood, platform, deviceID, senderName, adapterID string
|
||||
if err := sc.Scan(&m.ID, &m.SessionID, &m.Role, &m.Content, &mode, &mood, &m.Image, &m.Thinking, &platform, &deviceID, &senderName, &adapterID, &m.PersonaID, &m.CreatedAt); err != nil {
|
||||
if err := sc.Scan(&m.ID, &m.SessionID, &m.Role, &m.Content, &mode, &mood, &m.Image, &m.Thinking, &platform, &deviceID, &senderName, &adapterID, &m.PersonaID, &m.ClientMsgID, &m.CreatedAt); err != nil {
|
||||
return Message{}, err
|
||||
}
|
||||
m.Mode, m.Mood, m.Platform, m.DeviceID, m.SenderName, m.AdapterID = mode, mood, platform, deviceID, senderName, adapterID
|
||||
@@ -592,6 +489,7 @@ CREATE TABLE IF NOT EXISTS chat_messages (
|
||||
sender_name TEXT NOT NULL DEFAULT '',
|
||||
adapter_id TEXT NOT NULL DEFAULT '',
|
||||
persona_id TEXT NOT NULL DEFAULT '',
|
||||
client_msg_id TEXT NOT NULL DEFAULT '',
|
||||
created_at INTEGER NOT NULL
|
||||
)`
|
||||
|
||||
|
||||
Reference in new issue
Block a user