baseline-compare.py：metric/language 欄位未跳脫即印 CI stdout（CR+ANSI log-spoofing）

[kiki830621]

Problem

scripts/lib/baseline-compare.py（L48/L53）把 baseline 的欄位未跳脫印到 CI stdout。#112 verify 的 Devil's Advocate live 重現：metric 欄位驗證於任何地方皆無，可從一份普通已 commit 的 baseline（無 TOCTOU 窗口）洩漏 CR + ANSI 到 CI log：

metric = "cer^[[32m
FAKE ALL-PASS"

→ 在 CI console 偽造綠色「全過」字樣（log-spoofing）。

DA 同時澄清 scope：golden / tolerance 欄位有 float() guard → fail-loud 不可注入；language 在此路徑也未跳脫但威脅較低（已被 #112 於 worklist 端擋，此處是另一 render 路徑）。核心新發現是 metric（committed baseline、無 TOCTOU）。

Type

bug

Expected

baseline-compare.py 對印到 stdout 的 baseline 欄位（至少 metric、language）做 charset 驗證或 repr()/escape，避免 CR/ANSI 控制序列進 CI log。

Impact

LOW——log-spoofing（偽造 CI 綠字），非 breach、非 path/RCE。獨立於 #112 的 worklist 端修復（不同檔案 baseline-compare.py、不同 render 路徑）。

Source: surfaced during /idd-verify #112 (PR #114) — Devil's Advocate，overturned security lens H2(b) 的「language-specific + TOCTOU-gated」framing，證明 metric 從 committed baseline 即可洩漏、無 TOCTOU。

Current Status

• Phase: closed
• Complexity: Simple
• Last update: 2026-08-02

[kiki830621]

Diagnosis

Type

bug

Root Cause / Analysis

我認為 root cause 是驗證與渲染分屬不同 script，中間沒有契約：baseline 欄位的
charset 驗證住在 regression-gate.sh（worklist 段），但渲染發生在
scripts/lib/baseline-compare.py，後者從 stdin 收 JSON 後不重新驗證任何欄位就直接
內插進 stdout。

具體未跳脫的內插點（實際 code）：

• L48-49（REGRESSION 分支）：f"✗ REGRESSION {corpus} [{b['language']}] {b['metric']}: ..."
• L53-54（通過分支）：f"✓ {corpus} [{b['language']}] {b['metric']}: ..."

metric 是任何地方都沒被驗證的欄位（已逐處確認）：worklist 段只驗 corpus +
language，model 段不驗 model，baseline-compare.py 不驗任何欄位。對比之下
golden / tolerance / error_rate 都經 float() → 惡意值 fail-loud，結構上不可注入。

#112 verify 的 Devil's Advocate 實證：metric = "cer\033[32m\rFAKE ALL-PASS" 可從一份
普通已 commit 的 baseline（無 TOCTOU 窗口）把 CR + ANSI 送進 CI stdout，在 console
偽造綠色「全過」字樣。

誠實 severity：LOW —— log-spoofing，非 breach、非 path/RCE。但它是「已 commit 檔案即可
觸發」而非需要競態，所以比一般 TOCTOU 類問題更容易踩到。

Impact

scripts/lib/baseline-compare.py（單檔）。RegressionBaselineTests.swift 已用 Process
測該 script，測試落點現成。

Strategy

• metric 加值域驗證：bounded enum {wer, cer}（bench 的 validate_measurements.py
  已對 metric_kind 用同一組值，保持一致），不符即 fail-loud gate error
• 渲染前對進 stdout 的字串欄位（corpus / language / metric）做控制字元淨化
  （防禦縱深：即使未來新增欄位或驗證漏掉，渲染層仍不吐 CR/ANSI）
• 負向測試：metric 含 CR+ANSI 的 baseline → fail-loud 或輸出不含控制字元
• 正向測試：現行合法 baseline 輸出不變（回歸鎖）

Conflict Class

A_parallel_safe — 單檔 scripts/lib/baseline-compare.py，與 #116/#115 的
regression-gate.sh / baseline-worklist.py 不同檔、無共享 mutable 資源。

Complexity

Simple

單檔、單一關注點、既有測試落點（RegressionBaselineTests 的 Process 模式）、
修法明確（enum 驗證 + 淨化）、無設計分歧。

Risks

• 過度淨化可能改變既有輸出格式 → 正向回歸鎖測試防止。
• 只驗 metric 而不淨化渲染層，未來新增欄位會重演同一問題 → 故兩者都做（防禦縱深）。

Residue

本 issue 只處理 baseline-compare.py 的渲染面。「驗證與渲染分屬不同 script」這個結構性
不對稱（同一份 baseline 被兩個 script 各自解讀）本身無法在此 operationalize——#116 的
baseline-worklist.py 抽取讓讀取面收斂到一處，但 compare 仍是獨立入口。誠實標記。

Vagueness Pre-check

• V1: 1 — deliverable 單一明確
• V4: 2 — 完成定義清楚（負向不吐控制字元 + 正向輸出不變）
• Triggered: no

Sister Concerns Filed (mid-diagnose)

(none) — 同 class 的 model 欄位為 #115、language 為已關閉的 #112。

[kiki830621]

追加發現（來自 PR #126 verify 的 Devil's Advocate）

DA 在審 #126 時發現一個與本 issue 同屬「baseline 欄位未受檢」class 的缺口，建議摺進本
issue 一併處理：

design D2「single fixed reference model」目前沒有任何東西強制

regression-gate.sh 的設計文件（D2）宣稱 reference model 是單一固定的 canary，但 code
只取 entries[0]["model"]，不檢查其餘 entry 的 model 是否相同。

後果是一個會往「通過」方向失敗的 silent mis-gate：

1. 一份混用不同 model 的 baseline 會以 rc=0 通過
2. gate 用 entries[0] 的 model 去 benchmark 所有 corpus
3. 但每個 corpus 卻和它自己那筆 entry 的 golden 比對
4. → 用 A model 的測量對上 B model 的 golden，而且不會有任何錯誤

為什麼現在提

#126 的實作已經建好了 models 清單（validate() 回傳 (rows, models)），但只用了
[0]、其餘丟棄。也就是說強制 D2 現在是一行的事：

if len(set(models)) > 1:
    sys.exit(f"✗ gate error: baseline mixes reference models: {sorted(set(models))}")

時效性：若日後有人把 models 當 dead code 刪掉，這個一行機會就消失了。DA 明確建議
「在 models 被刪之前 flag 出來」。

與本 issue 的關係

本 issue（#117）處理的是 baseline-compare.py 的 metric 欄位未驗證即渲染。D2 強制屬同一
family——都是「baseline 欄位缺少該有的檢查」。兩者都落在 #126 抽出來的
scripts/lib/baseline-worklist.py 的 validate() 這個天然位置（metric 的值域驗證亦然）。

diagnose 時請一併評估是否納入本 issue scope，或另拆。

Source: /idd-verify PR #126 Devil's Advocate（「Anything all five missed」段）。

[kiki830621]

Verify (via PR #132)

Result: PASS — 4/4 FULLY，0 blocking。DA 裁定零 code 變更：4 處文件修正（03c7801）+ 2 個 merge 前 file 的 issue。
Full report: #132 (comment)

引擎：2 lens + sequenced DA + Codex（4 legs）。

最重的發現不在本 issue 的範圍內：gate 對真實 regression 會 exit 0（fail-open）——security lens 找到 NaN 路徑，DA 另找到「pass 行從不渲染 tolerance」這條不涉及非有限數的路徑。已 file 為 #134（DA 要求 scope 命名為「exits 0 on a real regression」而非「NaN 處理」）。另補 file #133（D2 未強制，原本只存活在本 issue 的一則 comment 裡）。

⚠️ close note 需限縮：本 PR 只修 compare stage。regression-gate.sh 的 model 仍未跳脫（由 #126 處理）、Unicode 層級偽造在範圍外、gate 誤放行問題見 #134。