Files
Scoreboard/server/internal/export/basedata.go
T
AskaEth 53a0cb225c feat: 备份恢复 / 图片清理 / 单位恢复 / 审计过滤 / 模板引擎 M1 + 两个导入缺陷修复
用户点名的三件事(模板功能、删死代码、剩余缺口)这一批全部落地,另修掉两个刚暴露的导入缺陷:

**新增能力**
- 备份恢复:`POST /api/backup/restore`(admin)。先把校验做在拍快照之前(只读打开 + integrity_check +
  关键表校验 + 异类库标志表互斥),再用 VACUUM INTO 拍「恢复前安全副本」,然后关连接、整文件替换、
  触发优雅重启;`-wal` 还在时直接拒绝(宁可失败也不让旧库 WAL 套到新库上);恢复后审计直写"恢复之后
  还在的那份库"(不走通用 Auditor,否则记录只会落在被替换掉的旧文件上)。顺带修掉:裸服务端连续恢复
  第二次会在拍副本处崩出一句看不懂的 500,现在回 503「上次恢复后尚未重启,请先重启服务端」。
- 安全副本保留策略:每类库保留最近 5 份,独立于 .db 的 20 份滚动清理。
- 图片管理:`DELETE /api/uploads/{name}`(被引用 409 并列出引用点)、`GET /api/uploads/orphans`、
  `POST /api/uploads/orphans/delete`(只删列出的孤儿,宁漏勿误),全部 admin(与字体删除同档);
  `deploy/backup.bat` 补上 uploads/ 归档(logs 不归档:可再生的诊断且会无上限增长)。
- 已彻底删除单位的恢复:`POST /api/teams/{id}/restore`(与 hideTeam 同档)。幂等;恢复不会把「停用」
  变成「启用」;真机确认恢复前后榜单逐字节一致、change_log 最大值不变(数据一行没动,不需要重算)。
  界面加「显示已彻底删除的单位」(仅 admin)与恢复按钮;非 admin 的删除确认框里写明"本账号无法自行恢复"。
- 审计日志按 `action` 过滤(子串模糊,输入里的 %/_/\ 转义成字面量)。
- 删除死表 recent_projects(新增 system 迁移 0006,未动已应用的迁移)。
- points_override 不再"设了没效果":写入侧 400 + 引擎侧守卫,提示改用「积分调整」。
- 联队份额空壳清理(UnionAttribution/UnionSplit/Entry.TeamShares/resolvedShares 等;TeamShare 类型保留,
  因为 export/realtime/奖牌流水三处在生产路径上构造它)。
- 自定义大屏模板 M1:插值引擎(parseTemplate/renderTemplate),任何情况都不抛异常、未定义→空串+警告、
  警告按 (code,path) 合并计数、无 eval/innerHTML,57 个新用例。

**两个真缺陷(前两个已随 0.1.6 出包)**
- 基础数据包导入「排序」列口径不一致:小项/组别留空保持原值,单位/大项留空被写成 0(plan 没从库里
  现值起手)→ 四张表统一为「留空保持原值」。
- 同类第二处:布尔列「整列被删掉」被当成"取默认值",会把库里所有停用的单位/大项静默改回启用 →
  改为「缺列 = 不动」(写侧与解析侧都收口,补了"缺列保持/空格子=是/显式否=停用"三组对照用例)。

**删死代码**
- createEntry / updateEntry / deleteEntry / entryEventID / checkCategoryInEvent / getEntry /
  normalizeEntryStatus / ExportBaseDataXLSX(全仓 grep 零引用)。⚠️ 随之记入文档:「组别必须属于该小项」
  这道校验现在只由导入路径"按小项+组别名解析"天然保证,将来若新增从请求体接收 categoryId 的接口,
  必须自己补校验(库层没有复合外键)。

**文档**
- devdocs 全面同步(01/02/03/04/05/06/07/09/11/12/13/README;含身份口径、延迟结算、大屏单栏新版式、
  新增路由与设置键、R18/R19 风险);docs 复核 + 第二轮(身份口径三个易写反的分支、图片删除、备份覆盖、
  审计过滤、单位恢复、去掉硬编码版本号、上线检查清单 +5 项);debug/使用说明 6 份逐份 diff 一致。

测试:服务端 13 包(连跑两遍)、前端 406 例、Console 28 例 + 18 文件语法检查 —— 全绿。
版本号 dev_0.1.6 → dev_0.1.7。
2026-09-11 19:26:36 +08:00

559 lines
18 KiB
Go

package export
import (
"database/sql"
"fmt"
"io"
"strconv"
"strings"
"github.com/xuri/excelize/v2"
)
// 基础数据包的四个工作表名。导入按这几个中文名认表:缺哪张就整张跳过,
// 一张都没有才报错——「没写的表」代表不改,绝不代表删除。
const (
BaseDataSheetTeams = "单位"
BaseDataSheetSports = "大项"
BaseDataSheetEvents = "小项"
BaseDataSheetCategories = "组别"
)
// BaseDataHeader 是一列表头与字段的对应关系。
// Header 是导出写进单元格的中文表头,Field 是导入按它取值的规范字段名。
// 导出与导入共用这一份定义:表头文案只有一处,往返(导出→原样导入)天然对得上。
type BaseDataHeader struct {
Header string
Field string
Required bool
}
// BaseDataSheetSpec 是一张基础数据表的导入契约:表名 + 表头集合。
type BaseDataSheetSpec struct {
Sheet string
Headers []BaseDataHeader
}
// baseDataColumn 在表头之外带上版式(列宽 / 对齐),仅供导出用。
type baseDataColumn struct {
BaseDataHeader
width float64
kind cellKind
}
type baseDataSheet struct {
sheet string
columns []baseDataColumn
}
// baseDataSheets 是基础数据包的全部内容定义,顺序即导入顺序:
// 单位 → 大项 → 小项 → 组别,后者依赖前者的编码(组别依赖小项,小项依赖大项)。
var baseDataSheets = []baseDataSheet{
{
sheet: BaseDataSheetTeams,
columns: []baseDataColumn{
{BaseDataHeader{"单位编码", "code", true}, 14, kindCenter},
{BaseDataHeader{"单位名称", "name", true}, 24, kindText},
{BaseDataHeader{"简称", "shortName", false}, 12, kindText},
{BaseDataHeader{"颜色", "color", false}, 12, kindCenter},
{BaseDataHeader{"排序", "sortOrder", false}, 8, kindInt},
{BaseDataHeader{"启用", "active", false}, 8, kindCenter},
},
},
{
sheet: BaseDataSheetSports,
columns: []baseDataColumn{
{BaseDataHeader{"大项编码", "code", true}, 14, kindCenter},
{BaseDataHeader{"大项名称", "name", true}, 24, kindText},
{BaseDataHeader{"简称", "shortName", false}, 12, kindText},
{BaseDataHeader{"排序", "sortOrder", false}, 8, kindInt},
{BaseDataHeader{"启用", "active", false}, 8, kindCenter},
},
},
{
sheet: BaseDataSheetEvents,
columns: []baseDataColumn{
{BaseDataHeader{"大项编码", "sportCode", true}, 14, kindCenter},
{BaseDataHeader{"小项编码", "code", true}, 14, kindCenter},
{BaseDataHeader{"小项名称", "name", true}, 22, kindText},
{BaseDataHeader{"类型", "eventType", false}, 14, kindCenter},
{BaseDataHeader{"结果模式", "resultMode", false}, 10, kindCenter},
{BaseDataHeader{"结果类型", "resultType", false}, 10, kindCenter},
{BaseDataHeader{"比较", "compare", false}, 8, kindCenter},
{BaseDataHeader{"计分", "scored", false}, 8, kindCenter},
{BaseDataHeader{"计破纪录", "recordEligible", false}, 10, kindCenter},
{BaseDataHeader{"权重", "multiplier", false}, 8, kindNumber},
{BaseDataHeader{"状态", "status", false}, 10, kindCenter},
{BaseDataHeader{"平均口径", "avgMode", false}, 10, kindCenter},
{BaseDataHeader{"排序", "sortOrder", false}, 8, kindInt},
{BaseDataHeader{"场地", "venue", false}, 16, kindText},
{BaseDataHeader{"备注", "remark", false}, 20, kindText},
},
},
{
sheet: BaseDataSheetCategories,
columns: []baseDataColumn{
// 组别必须带所属小项编码,否则导回来时对不上是哪个体项目的组别。
{BaseDataHeader{"小项编码", "eventCode", true}, 14, kindCenter},
{BaseDataHeader{"组别名", "name", true}, 16, kindText},
{BaseDataHeader{"权重", "multiplier", false}, 8, kindNumber},
{BaseDataHeader{"性别", "gender", false}, 8, kindCenter},
{BaseDataHeader{"年龄下限", "ageMin", false}, 10, kindInt},
{BaseDataHeader{"年龄上限", "ageMax", false}, 10, kindInt},
{BaseDataHeader{"排序", "sortOrder", false}, 8, kindInt},
},
},
}
// BaseDataSpecs 返回基础数据包的导入契约(表名与表头),顺序即导入顺序。
// 调用方(httpapi)拿它做表头识别与行级校验,不再自己写一份中文表头。
func BaseDataSpecs() []BaseDataSheetSpec {
out := make([]BaseDataSheetSpec, 0, len(baseDataSheets))
for _, s := range baseDataSheets {
spec := BaseDataSheetSpec{Sheet: s.sheet, Headers: make([]BaseDataHeader, 0, len(s.columns))}
for _, c := range s.columns {
spec.Headers = append(spec.Headers, c.BaseDataHeader)
}
out = append(out, spec)
}
return out
}
// BaseDataRecord 是一行待写出的基础数据:字段名 → 单元格值。
type BaseDataRecord map[string]any
// BaseDataWorkbook 是基础数据包的内容,一张表一份记录列表。
type BaseDataWorkbook struct {
Meta Meta
Teams []BaseDataRecord
Sports []BaseDataRecord
Events []BaseDataRecord
Categories []BaseDataRecord
}
// records 按工作表名取记录,顺序与 baseDataSheets 一致。
func (wb BaseDataWorkbook) records(sheet string) []BaseDataRecord {
switch sheet {
case BaseDataSheetTeams:
return wb.Teams
case BaseDataSheetSports:
return wb.Sports
case BaseDataSheetEvents:
return wb.Events
case BaseDataSheetCategories:
return wb.Categories
default:
return nil
}
}
// WriteBaseDataXLSX 把基础数据包写成 xlsx 流,供 HTTP 直接响应下载。
func WriteBaseDataXLSX(w io.Writer, wb BaseDataWorkbook) error {
f, err := baseDataFile(wb)
if err != nil {
return err
}
return f.Write(w)
}
func baseDataFile(wb BaseDataWorkbook) (*excelize.File, error) {
return buildWorkbook(BaseDataSheetTeams, func(f *excelize.File, st *styleSet) error {
meta := wb.Meta.normalized()
namer := &sheetNamer{}
for _, s := range baseDataSheets {
name := namer.add(s.sheet)
if err := addSheet(f, name); err != nil {
return err
}
cols := make([]column, 0, len(s.columns))
for _, c := range s.columns {
cols = append(cols, column{c.Header, c.width, c.kind})
}
rows := baseDataRows(s, wb.records(s.sheet))
if err := writeSheet(f, st, name, meta, sheetTitle(meta, s.sheet), cols, rows); err != nil {
return err
}
}
return nil
})
}
// baseDataRows 按列定义把记录摊平成行;记录里缺的字段写空,不写 "0" / "false" 这类噪声。
func baseDataRows(s baseDataSheet, records []BaseDataRecord) [][]any {
out := make([][]any, 0, len(records))
for _, rec := range records {
row := make([]any, 0, len(s.columns))
for _, c := range s.columns {
v, ok := rec[c.Field]
if !ok || v == nil {
v = ""
}
row = append(row, v)
}
out = append(out, row)
}
return out
}
// boolCell 把布尔值写成「是 / 否」:中文表头配中文取值,现场改表时不用查英文枚举。
func boolCell(v bool) string {
if v {
return "是"
}
return "否"
}
// LoadBaseDataWorkbook 读取全部基础数据(单位 / 大项 / 小项 / 组别)。
//
// 单位排除「彻底删除」(deleted_at 非空)的行:它们对界面不可见,也不该被重新印进导出件;
// 停用(active=0)的单位照常导出,启用列写「否」,导入回来才不会把它误改回启用。
func LoadBaseDataWorkbook(db *sql.DB, opts Options) (BaseDataWorkbook, error) {
if db == nil {
return BaseDataWorkbook{}, ErrNoDatabase
}
meta, _, err := resolveMeta(db, opts.Meta)
if err != nil {
return BaseDataWorkbook{}, err
}
teams, err := loadBaseDataTeams(db)
if err != nil {
return BaseDataWorkbook{}, err
}
sports, err := loadBaseDataSports(db)
if err != nil {
return BaseDataWorkbook{}, err
}
events, err := loadBaseDataEvents(db)
if err != nil {
return BaseDataWorkbook{}, err
}
categories, err := loadBaseDataCategories(db)
if err != nil {
return BaseDataWorkbook{}, err
}
return BaseDataWorkbook{Meta: meta, Teams: teams, Sports: sports, Events: events, Categories: categories}, nil
}
func loadBaseDataTeams(db *sql.DB) ([]BaseDataRecord, error) {
rows, err := db.Query(`
SELECT code, name, COALESCE(short_name, ''), COALESCE(color, ''), sort_order, active
FROM teams WHERE deleted_at IS NULL ORDER BY sort_order, code`)
if err != nil {
return nil, fmt.Errorf("export: 读取单位: %w", err)
}
defer func() { _ = rows.Close() }()
var out []BaseDataRecord
for rows.Next() {
var (
code, name, shortName, color string
sortOrder, active int
)
if err := rows.Scan(&code, &name, &shortName, &color, &sortOrder, &active); err != nil {
return nil, fmt.Errorf("export: 扫描单位: %w", err)
}
out = append(out, BaseDataRecord{
"code": code, "name": name, "shortName": shortName, "color": color,
"sortOrder": sortOrder, "active": boolCell(active != 0),
})
}
return out, rows.Err()
}
func loadBaseDataSports(db *sql.DB) ([]BaseDataRecord, error) {
rows, err := db.Query(`
SELECT code, name, COALESCE(short_name, ''), sort_order, active
FROM sports ORDER BY sort_order, code`)
if err != nil {
return nil, fmt.Errorf("export: 读取大项: %w", err)
}
defer func() { _ = rows.Close() }()
var out []BaseDataRecord
for rows.Next() {
var (
code, name, shortName string
sortOrder, active int
)
if err := rows.Scan(&code, &name, &shortName, &sortOrder, &active); err != nil {
return nil, fmt.Errorf("export: 扫描大项: %w", err)
}
out = append(out, BaseDataRecord{
"code": code, "name": name, "shortName": shortName,
"sortOrder": sortOrder, "active": boolCell(active != 0),
})
}
return out, rows.Err()
}
func loadBaseDataEvents(db *sql.DB) ([]BaseDataRecord, error) {
rows, err := db.Query(`
SELECT COALESCE(s.code, ''), e.code, e.name, e.event_type, e.result_mode, e.result_type,
e.compare, e.scored, e.record_eligible, e.multiplier, e.status, e.avg_mode,
e.sort_order, COALESCE(e.venue, ''), COALESCE(e.remark, '')
FROM events e
LEFT JOIN sports s ON s.id = e.sport_id
ORDER BY COALESCE(s.sort_order, 0), e.sort_order, e.code`)
if err != nil {
return nil, fmt.Errorf("export: 读取小项: %w", err)
}
defer func() { _ = rows.Close() }()
var out []BaseDataRecord
for rows.Next() {
var (
sportCode, code, name string
eventType, resultMode, resultType, cmpare string
status, avgMode, venue, remark string
scored, recordEligible, sortOrder int
multiplier float64
)
if err := rows.Scan(&sportCode, &code, &name, &eventType, &resultMode, &resultType,
&cmpare, &scored, &recordEligible, &multiplier, &status, &avgMode,
&sortOrder, &venue, &remark); err != nil {
return nil, fmt.Errorf("export: 扫描小项: %w", err)
}
out = append(out, BaseDataRecord{
"sportCode": sportCode, "code": code, "name": name,
"eventType": eventType, "resultMode": resultMode, "resultType": resultType,
"compare": cmpare, "scored": boolCell(scored != 0), "recordEligible": boolCell(recordEligible != 0),
"multiplier": multiplier, "status": status, "avgMode": avgMode,
"sortOrder": sortOrder, "venue": venue, "remark": remark,
})
}
return out, rows.Err()
}
func loadBaseDataCategories(db *sql.DB) ([]BaseDataRecord, error) {
rows, err := db.Query(`
SELECT COALESCE(e.code, ''), c.name, c.multiplier, COALESCE(c.gender, ''),
c.age_min, c.age_max, c.sort_order
FROM event_categories c
LEFT JOIN events e ON e.id = c.event_id
ORDER BY COALESCE(e.sort_order, 0), e.code, c.sort_order, c.id`)
if err != nil {
return nil, fmt.Errorf("export: 读取组别: %w", err)
}
defer func() { _ = rows.Close() }()
var out []BaseDataRecord
for rows.Next() {
var (
eventCode, name, gender string
multiplier float64
ageMin, ageMax sql.NullInt64
sortOrder int
)
if err := rows.Scan(&eventCode, &name, &multiplier, &gender, &ageMin, &ageMax, &sortOrder); err != nil {
return nil, fmt.Errorf("export: 扫描组别: %w", err)
}
rec := BaseDataRecord{
"eventCode": eventCode, "name": name, "multiplier": multiplier,
"gender": gender, "sortOrder": sortOrder,
}
rec["ageMin"], rec["ageMax"] = "", ""
if ageMin.Valid {
rec["ageMin"] = int(ageMin.Int64)
}
if ageMax.Valid {
rec["ageMax"] = int(ageMax.Int64)
}
out = append(out, rec)
}
return out, rows.Err()
}
// ---------- 导入侧:读取工作簿 ----------
// BaseDataRow 是基础数据表里的一行数据。
type BaseDataRow struct {
// Line 是该行在工作表里的真实行号(1 起,含表头上方的标题行),行级报错直接用它。
Line int
// Cells 是「字段名 → 单元格原文(已去空白)」;Has 标记该字段的列有没有出现在表头里。
// 两者分开:列不存在 = 不改动(更新时沿用库里的值),列存在但为空 = 明确写空。
Cells map[string]string
Has map[string]bool
}
// BaseDataTable 是从工作簿里解析出的一张表。
type BaseDataTable struct {
Sheet string
HeaderLine int
Rows []BaseDataRow
}
// maxHeaderScanRows 是表头检测的扫描范围。
// 本系统的导出件在表头上方有标题与副标题(表头在第 4 行),手工整理的表通常表头在第 1 行,
// 再往上加两三行说明也有可能;扫前 20 行足够,又不会被中间某行数据误判成表头。
const maxHeaderScanRows = 20
// ReadBaseDataPackage 解析基础数据包工作簿,按工作表返回表头位置与数据行。
// 只认 baseDataSheets 里的四个中文表名,别的工作表一律忽略;一张都没找到时返回错误。
func ReadBaseDataPackage(r io.Reader) ([]BaseDataTable, error) {
f, err := excelize.OpenReader(r)
if err != nil {
return nil, fmt.Errorf("export: 打开基础数据包: %w", err)
}
defer func() { _ = f.Close() }()
sheets := f.GetSheetList()
present := make(map[string]bool, len(sheets))
for _, name := range sheets {
present[strings.TrimSpace(name)] = true
}
tables := make([]BaseDataTable, 0, len(baseDataSheets))
for _, spec := range BaseDataSpecs() {
if !present[spec.Sheet] {
continue
}
rows, err := f.GetRows(spec.Sheet)
if err != nil {
return nil, fmt.Errorf("export: 读取工作表 %s: %w", spec.Sheet, err)
}
table, err := parseBaseDataSheet(spec, rows)
if err != nil {
return nil, err
}
tables = append(tables, table)
}
if len(tables) == 0 {
return nil, fmt.Errorf("export: 基础数据包缺少可识别的工作表(应为 %s)", baseDataSheetNames())
}
return tables, nil
}
func baseDataSheetNames() string {
names := make([]string, 0, len(baseDataSheets))
for _, s := range baseDataSheets {
names = append(names, s.sheet)
}
return strings.Join(names, " / ")
}
// parseBaseDataSheet 在表头行定位成功后,把其后的数据行逐行摊成「字段 → 原文」。
// 整行为空的行(用户在表尾留的空行)直接跳过,不产生「必填」误报。
func parseBaseDataSheet(spec BaseDataSheetSpec, rows [][]string) (BaseDataTable, error) {
headerLine, index := findBaseDataHeader(spec, rows)
if headerLine < 0 {
return BaseDataTable{}, fmt.Errorf("export: 工作表 %s 找不到表头行:应有一行同时包含 %s(本系统导出的包把表头放在标题行下方)",
spec.Sheet, strings.Join(requiredHeaders(spec), "、"))
}
table := BaseDataTable{Sheet: spec.Sheet, HeaderLine: headerLine + 1}
for i := headerLine + 1; i < len(rows); i++ {
row := rows[i]
cells := make(map[string]string, len(index))
has := make(map[string]bool, len(index))
blank := true
for _, h := range spec.Headers {
col, ok := index[h.Field]
if !ok {
continue
}
has[h.Field] = true
v := ""
if col < len(row) {
v = strings.TrimSpace(row[col])
}
cells[h.Field] = v
if v != "" {
blank = false
}
}
if blank {
continue
}
table.Rows = append(table.Rows, BaseDataRow{Line: i + 1, Cells: cells, Has: has})
}
return table, nil
}
// findBaseDataHeader 找出表头行:返回行下标(0 起)与「字段 → 列下标」。
// 判据是该行必须同时出现全部必填表头,避免把标题行或数据行认成表头。
func findBaseDataHeader(spec BaseDataSheetSpec, rows [][]string) (int, map[string]int) {
limit := len(rows)
if limit > maxHeaderScanRows {
limit = maxHeaderScanRows
}
for i := 0; i < limit; i++ {
byHeader := make(map[string]int, len(rows[i]))
for j, cell := range rows[i] {
text := strings.TrimSpace(cell)
if _, dup := byHeader[text]; !dup {
byHeader[text] = j
}
}
index := make(map[string]int, len(spec.Headers))
missing := false
for _, h := range spec.Headers {
col, ok := byHeader[h.Header]
if !ok {
if h.Required {
missing = true
break
}
continue
}
index[h.Field] = col
}
if !missing {
return i, index
}
}
return -1, nil
}
func requiredHeaders(spec BaseDataSheetSpec) []string {
out := make([]string, 0, len(spec.Headers))
for _, h := range spec.Headers {
if h.Required {
out = append(out, h.Header)
}
}
return out
}
// ---------- 导入侧用的小工具 ----------
// ParseBaseDataBool 解析「是 / 否」型单元格:空值取 fallback,认不出的写法返回 false。
func ParseBaseDataBool(raw string, fallback bool) (bool, bool) {
switch strings.ToLower(strings.TrimSpace(raw)) {
case "":
return fallback, true
case "是", "1", "true", "yes", "y", "启用", "on":
return true, true
case "否", "0", "false", "no", "n", "停用", "off":
return false, true
default:
return false, false
}
}
// ParseBaseDataFloat 解析数值列;空值取 fallback。
func ParseBaseDataFloat(raw string, fallback float64) (float64, bool) {
text := strings.TrimSpace(raw)
if text == "" {
return fallback, true
}
v, err := strconv.ParseFloat(text, 64)
if err != nil {
return 0, false
}
return v, true
}
// ParseBaseDataInt 解析整数列;空值返回 nil。返回的第二个值表示是否合法。
func ParseBaseDataInt(raw string) (*int, bool) {
text := strings.TrimSpace(raw)
if text == "" {
return nil, true
}
v, err := strconv.Atoi(text)
if err != nil {
return nil, false
}
return &v, true
}