VerDee

Vertical Deep Network — 基于 Mamba-2 的纵向分层 LoRA、动态早退路由与领域专家；支持 16GB 单卡 Pilot（370M）与 Production（2.7B）实验。

VerDee: depth-staged LoRA (shallow/mid/deep), early-exit routing, and domain adapters on Mamba-2 — reproducible research for consumer GPUs.

文档

文件	说明
ARCHITECTURE.md	整体架构与目录说明
VerDee.md	完整方案（Production / 5060 Ti）
VerDee-Experiment.md	实验对照、评测、Pilot 流程

配置

文件	模型
configs/pilot_370m.yaml	370M，先跑这个
configs/production_2.7b.yaml	2.7B，Pilot 通过后

目录速览

configs/      超参
src/verdee/   核心代码包
scripts/      命令行入口
data/         数据集
eval/         评测集与报告
adapters/     LoRA 输出
checkpoints/  训练 checkpoint
logs/         日志

环境（已创建 .venv）

PowerShell（在项目根目录）：

.\scripts\activate.ps1
# 或:  .\.venv\Scripts\Activate.ps1

CMD：scripts\activate.bat

快速开始

# 1. 激活环境后
python scripts/00_check_gpu.py      # GPU / sm_120
python scripts/01_verify_model.py   # 下载并验证 mamba2-370m

# 2. 准备数据（首次需联网下载 HF 数据集，约 10–30 分钟）
python scripts/prepare_data_pilot.py

# 3. Pilot 训练（按顺序）
python scripts/03_train_stage.py --stage shallow
python scripts/03_train_stage.py --stage mid
python scripts/03_train_stage.py --stage deep
# python scripts/03_train_stage.py --stage traditional_b   # 对照 B

# 3. 评测对比（待实现）
python scripts/run_benchmark.py --runs A,B,C1,C3,M --suite pilot

硬件

• RTX 5060 Ti 16GB
• PyTorch cu128（Blackwell sm_120）
• 推荐 WSL2 Ubuntu 24.04