Lynn LLM Benchmarks · V9 + Coding Spike A

17 家大模型超高难度试题横向测评(verified_strict 严格 ground-truth 判分,无 LLM-judge,无工具调用)

2026-05-06 数据 · 1700+ 推理 · 全流程开源可复现

English README · Project Lynn

---

📊 核心数据

V9 主榜 · 17 家 · 56 题(8 维度 × 7 题,sql 因 verifier eval bug 已剔除)

#	Provider	Score	%	Tier
1	GPT-5.5	48/56	85.7%	T0
2	Gemini 3.1 Pro	47/56	83.9%	T0
3	DeepSeek V4-Pro	44/56	78.6%	T0
4	MiMo 2.5 Pro	43/56	76.8%	T0
5	Gemini 3 Flash	39/56	69.6%	T1
6	Qwen3.6-A3B (5090 sglang FP8)	38/56	67.9%	T1
7	Qwen3.6-A3B (Spark 128k)	37/56	66.1%	T1
8	Nemotron-3-Nano-Omni Q4_K_M (5090)	36/56	64.3%	T1
9-10T	HY3 / MiniMax M2.7	35/56	62.5%	T1
11-12T	Gemini 3.1 Flash-Lite / Qwen3.6-27B-IQ4_XS (5090)	34/56	60.7%	T1
13-14T	DeepSeek V4-Flash / GLM-5-Turbo	33/56	58.9%	T2
15	GLM-5.1	32/56	57.1%	T2
16	Step-3.5-Flash	28/56	50.0%	T2
17	Kimi K2.6	27/56	48.2%	T3

T0 ≥75% / T1 60-75% / T2 50-60% / T3 <50%

Coding Spike A · 16 题硬核压测(1 超难 + 3 难 / 4 语言)

#	Provider	Pass	%
1	DeepSeek V4-Pro	13/16	81.2%
2	GPT-5.5	12/16	75.0%
3-6T	DS V4-Flash / GLM-5.1 / Gemini 3.1 FL / Gemini 3 Flash	11/16	68.8%
7T	Gemini 3.1 Pro / GLM-5-Turbo	10/16	62.5%
9	MiMo 2.5 Pro	9/16	56.2%
10-13T	HY3 / MiniMax / 27B-IQ4_XS / Kimi K2.6	8/16	50.0%
14	Qwen3.6-A3B (5090 sglang FP8)	6/16	37.5%
15	Nemotron Q4_K_M (5090)	5/16	31.2%

---

🔬 方法论

V9 题集来源(8 维度 × 7 题 = 56)

维度	题源	判分
math	AIME 2024-2025(美国数学邀请赛)	sympy \boxed{N} + 自然语言尾段 fallback
physics	GPQA Diamond Physics(博士级)	严格 ABCD 单字母
chemistry	GPQA Diamond Chemistry	同
biology	GPQA Diamond Biology	同
longctx	LongBench-V2 multi-doc(50-880K chars)	同
code_algo	HumanEval+	pytest 真跑
medical	MedQA-USMLE 4-options	ABCD 严格
finance	自创(DCF/ROE/债券定价/EPS)	数值 + tolerance

Coding Spike A 题集设计

每语言 1 超难 + 3 难 = 4 题,共 16 题:

语言	超难	难题(3)	verifier
Python	实现 regex 引擎(* + ? | () [] \\)	Median of 2 sorted O(log) / Word Break II / Min Window Substring	pytest
TypeScript	类型层 Peano 自然数算术	DeepReadonly / IsEqual / Promise.allSettled polyfill	tsc + node
Rust	mark-sweep GC 实现	Bytecode 解释器 / Arc 100 线程 / 通用双链表	cargo test
Bash	retry_with_backoff(指数退避 + jitter + signal)	Apache log 解析 / inotify watcher / JSON merge	bash exit code

关键规则

• runs=1 strict:单次必须 verified_strict=True,temperature=0.3 全家统一
• 不允许工具调用:V9 的核心区别 — 全部裸模型推理
• HumanEval+ 装 numpy 真跑 pytest:不是看代码符号,是真测试通过
• AIME math fallback:Gemini Pro 不爱用 \boxed{},直接 a+b=510 也接受
• 128k context 公平基准:Spark / 5090 上 sglang 配 --context-length 131072,跟所有家公平比
• lb_001 (880K chars) / lb_002 (566K chars) 物理超 128k,即便 1M ctx 模型也只能 lb_003-006 能解

---

🚀 快速复现

依赖安装

# Python 3.12+
pip install pytest numpy sympy

# Node.js 20+
npm install typescript

# Rust (cargo)
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

# Bash + jq
brew install jq  # 或 apt install jq

配置 API keys

复制 .env.example → ~/.lynn/brain.env,填入你的:

DEEPSEEK_KEY=sk-xxx
KIMI_CODING_KEY=xxx          # Moonshot for-coding API
MIMO_KEY=xxx                  # 小米 MiMo Token Plan
MINIMAX_KEY=xxx
ZHIPU_CODING_KEY=xxx          # 智谱 GLM coding paas
OPENROUTER_KEY=xxx            # HY3 (Hy3-Preview) :free
GEMINI_API_KEY=xxx            # Google AI Studio
# GPT-5.5 用 ~/.codex/auth.json (Codex OAuth,不需 key)

跑 V9

cd v9/scripts
python3 harness_v9.py --provider "DeepSeek V4-Pro" --all --runs 1 --timeout 1200 \
  --out ../results/v9_DS-V4-Pro.json

跑 Coding Spike

cd coding-spike/scripts
python3 harness_coding_spike.py --provider "DeepSeek V4-Pro" --timeout 600 \
  --out ../results/spike_DS-V4-Pro.json

渲染图

cd v9/scripts && python3 render_v9.py     # → v9/charts/*.png
cd ../../coding-spike/scripts && python3 render_coding.py

---

📁 仓库结构

lynn-llm-benchmarks/
├── v9/                            # V9 8 维度 56 题
│   ├── data/                      # 题集 JSON(aime3/gpqa_*/longbench3/etc)
│   ├── scripts/
│   │   ├── harness_v9.py          # 主 harness (cloud APIs + local sglang/llama.cpp)
│   │   ├── harness_v9_gpt5.py     # Codex OAuth (GPT-5.x)
│   │   ├── harness_v9_gemini*.py  # Gemini 专用
│   │   └── render_v9.py           # 4 张图渲染
│   ├── verifiers/                 # 8 套自动判分(sympy/pytest/letter-match/etc)
│   ├── results/                   # 17 家 JSON 结果
│   └── charts/                    # leaderboard / heatmap / vs-v8 / qwen3-deployment
└── coding-spike/                  # Coding Spike A 16 题
    ├── data/problems.json         # 16 题 + 测试代码 + verifier
    ├── scripts/
    │   ├── harness_coding_spike.py     # 主 harness
    │   ├── retry_failed.py             # retry 失败题(Gemini 503 等)
    │   ├── tps_bench.py                # TPS bench(N=1/2/4/8)
    │   └── render_coding.py            # 2 张图
    ├── results/                   # 15 家 spike + TPS JSON
    └── charts/                    # leaderboard + 4-lang heatmap

---

🎯 核心发现

1. V8 工具时代区分度归零 — 头部 14 家 96-100% 齐平,差距 < 7 分
2. V9 ground-truth 把天花板↔地板撕到 38 分(GPT-5.5 85.7% vs Kimi 48.2%)
3. Coding Spike 抗压系数曝光真本事:
   • DeepSeek V4-Pro V9 #3 → Spike #1(thinking 深度真有用)
   • GLM-5.1 V9 #15 → Spike #3T(智谱 coding 训练有特殊优势)
   • MiMo 2.5 Pro V9 #4 → Spike #9(刷易题强,硬核题暴跌 21 分)
   • Kimi K2.6:Coding API 偏科,Coding Spike 50% 跟 GPQA 化学 0/7 形成反差
4. 同模型不同部署影响 — Qwen3.6-35B-A3B 在 Spark sglang(66.1%) vs 5090 sglang(67.9%) +1.8%
5. NVIDIA Nemotron-3-Nano-Omni Q4_K_M 单流 205 tok/s — 5090 llama.cpp Blackwell native FP4
6. sql 维度全 17 家 0/3 — verifier 文本 exact match,语义对也判错(eval bug,已剔除)

---

📜 License

• 代码 / 脚本:MIT
• 题集数据:遵循各原始来源 license(AIME / GPQA / LongBench / HumanEval+ / MedQA / Spider)
• 结果数据:CC-BY-4.0(可引用,标 Lynn Project)

---

🔗 相关项目

• Lynn (Electron + brain + GPU) — Lynn 主项目
• qwen3.6-nvfp4-toolkit — Qwen 3.6 NVFP4 量化工具

---

📝 引用

@misc{lynn_llm_benchmarks_2026,
  author = {Lynn Project},
  title = {Lynn LLM Benchmarks: V9 + Coding Spike A},
  year = {2026},
  url = {https://github.com/MerkyorLynn/lynn-llm-benchmarks}
}