Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension


Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
26 changes: 13 additions & 13 deletions package-lock.json

Some generated files are not rendered by default. Learn more about how customized files appear on GitHub.

2 changes: 1 addition & 1 deletion startos/manifest/index.ts
Original file line number Diff line number Diff line change
Expand Up @@ -10,7 +10,7 @@ const mutable = <T>(value: T): Mutable<T> => value as Mutable<T>
// Pinned upstream vLLM nightly commit. nvidia and rocm both run vLLM's official
// prebuilt images at this commit, so they stay in lockstep — bump it on a vllm
// update (and bump the submodule + versions to match). See UPDATING.md.
const NIGHTLY_SHA = '4c626633159887b0f2c962058c17c78f1434556d'
const NIGHTLY_SHA = '3f5a1e1733200760169ff31ebe60a271072b199e'

// Upstream vLLM version of the bundled submodule, fed to the cpu source build as
// SETUPTOOLS_SCM_PRETEND_VERSION (the submodule's .git isn't usable in the Docker
Expand Down
12 changes: 6 additions & 6 deletions startos/versions/current.ts
Original file line number Diff line number Diff line change
@@ -1,13 +1,13 @@
import { VersionInfo } from '@start9labs/start-sdk'

export const current = VersionInfo.of({
version: '0.23.1-rc.0:2',
version: '0.23.1-rc.0:8',
releaseNotes: {
en_US: `Advances the bundled vLLM nightly build to commit 4c62663 (still on the upstream 0.23.1rc0 line). Highlights: new model support for HrmTextForCausalLM (Hierarchical Reasoning Model) and Gemma Diffusion on CPU, a new streaming parser engine with a MinimaxM2 parser (Nemotron V3 migrated to it), CORS support in the Rust frontend, and bug fixes for Gemma4 parsing with thinking disabled, a Qwen3 tool-call false positive, ROCm FP8 / MiniMax-M3 KV-cache issues, and pinned memory on WSL2. Note: the Dots1ForCausalLM model was removed upstream. Full changes: https://github.com/vllm-project/vllm/compare/6607a80...4c62663`,
es_ES: `Avanza la compilación nightly de vLLM incluida al commit 4c62663 (sigue en la línea upstream 0.23.1rc0). Novedades: soporte para los modelos HrmTextForCausalLM (Hierarchical Reasoning Model) y Gemma Diffusion en CPU, un nuevo motor de parser en streaming con un parser MinimaxM2 (Nemotron V3 migrado a él), soporte CORS en el frontend de Rust, y correcciones para el parseo de Gemma4 con el modo "thinking" desactivado, un falso positivo en las llamadas a herramientas de Qwen3, problemas de FP8 en ROCm y de caché KV en MiniMax-M3, y la memoria fijada en WSL2. Nota: el modelo Dots1ForCausalLM se eliminó en upstream. Cambios completos: https://github.com/vllm-project/vllm/compare/6607a80...4c62663`,
de_DE: `Aktualisiert den gebündelten vLLM-Nightly-Build auf Commit 4c62663 (weiterhin auf der Upstream-Linie 0.23.1rc0). Highlights: neue Modellunterstützung für HrmTextForCausalLM (Hierarchical Reasoning Model) und Gemma Diffusion auf der CPU, eine neue Streaming-Parser-Engine mit einem MinimaxM2-Parser (Nemotron V3 darauf migriert), CORS-Unterstützung im Rust-Frontend sowie Fehlerbehebungen für das Gemma4-Parsing bei deaktiviertem "Thinking", einen Qwen3-Tool-Call-Fehlalarm, ROCm-FP8-/MiniMax-M3-KV-Cache-Probleme und gepinnten Speicher unter WSL2. Hinweis: Das Modell Dots1ForCausalLM wurde upstream entfernt. Vollständige Änderungen: https://github.com/vllm-project/vllm/compare/6607a80...4c62663`,
pl_PL: `Aktualizuje dołączoną kompilację nightly vLLM do commitu 4c62663 (nadal na upstreamowej linii 0.23.1rc0). Najważniejsze: obsługa modeli HrmTextForCausalLM (Hierarchical Reasoning Model) oraz Gemma Diffusion na CPU, nowy silnik parsera strumieniowego z parserem MinimaxM2 (Nemotron V3 zmigrowany na niego), obsługa CORS we frontendzie Rust, a także poprawki parsowania Gemma4 przy wyłączonym trybie "thinking", fałszywego trafienia w wywołaniach narzędzi Qwen3, problemów FP8 w ROCm i pamięci podręcznej KV w MiniMax-M3 oraz przypiętej pamięci na WSL2. Uwaga: model Dots1ForCausalLM został usunięty w upstream. Pełne zmiany: https://github.com/vllm-project/vllm/compare/6607a80...4c62663`,
fr_FR: `Met à jour la version nightly de vLLM incluse vers le commit 4c62663 (toujours sur la ligne upstream 0.23.1rc0). Points forts : prise en charge des modèles HrmTextForCausalLM (Hierarchical Reasoning Model) et Gemma Diffusion sur CPU, un nouveau moteur de parser en streaming avec un parser MinimaxM2 (Nemotron V3 migré vers celui-ci), la prise en charge de CORS dans le frontend Rust, ainsi que des corrections pour l'analyse de Gemma4 lorsque le mode « thinking » est désactivé, un faux positif dans les appels d'outils de Qwen3, des problèmes de FP8 sur ROCm et de cache KV sur MiniMax-M3, et la mémoire épinglée sous WSL2. Remarque : le modèle Dots1ForCausalLM a été supprimé en amont. Changements complets : https://github.com/vllm-project/vllm/compare/6607a80...4c62663`,
en_US: `Advances the bundled vLLM nightly build to commit 3f5a1e1 (still on the upstream 0.23.1rc0 line). Highlights: the Rust frontend gains a unified/combined parser interface, xgrammar structural-tag support for strict and required tool calling, echo for token-ID completion prompts, and corrected reasoning-parser semantics; new MiniMax-M3 pipeline-parallelism and OpenMOSS-Team model support, plus CPU chunked prefill and prefix caching for Qwen3.5 and AArch64 MoE acceleration; and bugfixes for MiniMax/Kimi K2 tool-call streaming, non-ASCII tool-call arguments, and a security fix for an infinite loop on NaN audio samples. The legacy BaiChuan/Baichuan models were removed. Full changes: https://github.com/vllm-project/vllm/compare/04c2a8d...3f5a1e1`,
es_ES: `Avanza la compilación nightly de vLLM incluida al commit 3f5a1e1 (sigue en la línea upstream 0.23.1rc0). Destacados: el frontend Rust gana una interfaz de analizador unificada/combinada, soporte de structural-tag de xgrammar para llamadas a herramientas strict y required, echo para prompts de completions por ID de token y semántica de reasoning-parser corregida; nuevo soporte de paralelismo de pipeline para MiniMax-M3 y de modelos OpenMOSS-Team, además de prefill por fragmentos y caché de prefijos en CPU para Qwen3.5 y aceleración de MoE en AArch64; y correcciones para el streaming de llamadas a herramientas de MiniMax/Kimi K2, argumentos de llamadas a herramientas no ASCII y una corrección de seguridad para un bucle infinito con muestras de audio NaN. Se eliminaron los modelos heredados BaiChuan/Baichuan. Cambios completos: https://github.com/vllm-project/vllm/compare/04c2a8d...3f5a1e1`,
de_DE: `Aktualisiert den gebündelten vLLM-Nightly-Build auf Commit 3f5a1e1 (weiterhin auf der Upstream-Linie 0.23.1rc0). Highlights: Das Rust-Frontend erhält eine vereinheitlichte/kombinierte Parser-Schnittstelle, xgrammar-Structural-Tag-Unterstützung für strict- und required-Tool-Calls, echo für Token-ID-Completion-Prompts sowie korrigierte Reasoning-Parser-Semantik; neue Pipeline-Parallelism-Unterstützung für MiniMax-M3 und OpenMOSS-Team-Modelle, dazu Chunked-Prefill und Prefix-Caching auf CPU für Qwen3.5 sowie AArch64-MoE-Beschleunigung; und Fehlerbehebungen für MiniMax-/Kimi-K2-Tool-Call-Streaming, Nicht-ASCII-Tool-Call-Argumente und ein Sicherheitsfix für eine Endlosschleife bei NaN-Audio-Samples. Die veralteten BaiChuan/Baichuan-Modelle wurden entfernt. Vollständige Änderungen: https://github.com/vllm-project/vllm/compare/04c2a8d...3f5a1e1`,
pl_PL: `Aktualizuje dołączoną kompilację nightly vLLM do commitu 3f5a1e1 (nadal na upstreamowej linii 0.23.1rc0). Najważniejsze: frontend Rust zyskuje zunifikowany/łączony interfejs parsera, obsługę structural-tag z xgrammar dla wywołań narzędzi strict i required, echo dla promptów completions po ID tokena oraz poprawioną semantykę reasoning-parser; nowa obsługa równoległości potoku dla MiniMax-M3 i modeli OpenMOSS-Team, a także prefill fragmentowy i cache prefiksów na CPU dla Qwen3.5 oraz przyspieszenie MoE na AArch64; a także poprawki strumieniowania wywołań narzędzi MiniMax/Kimi K2, argumentów wywołań narzędzi spoza ASCII oraz poprawka bezpieczeństwa dla nieskończonej pętli przy próbkach audio NaN. Usunięto przestarzałe modele BaiChuan/Baichuan. Pełne zmiany: https://github.com/vllm-project/vllm/compare/04c2a8d...3f5a1e1`,
fr_FR: `Met à jour la version nightly de vLLM incluse vers le commit 3f5a1e1 (toujours sur la ligne upstream 0.23.1rc0). Points forts : le frontend Rust gagne une interface de parseur unifiée/combinée, la prise en charge des structural-tag de xgrammar pour les appels d'outils strict et required, echo pour les prompts de completions par ID de token et une sémantique de reasoning-parser corrigée ; nouvelle prise en charge du parallélisme de pipeline pour MiniMax-M3 et des modèles OpenMOSS-Team, ainsi que le prefill par blocs et la mise en cache de préfixes sur CPU pour Qwen3.5 et l'accélération MoE sur AArch64 ; et des corrections pour le streaming des appels d'outils MiniMax/Kimi K2, les arguments d'appels d'outils non ASCII et un correctif de sécurité pour une boucle infinie sur des échantillons audio NaN. Les modèles hérités BaiChuan/Baichuan ont été supprimés. Changements complets : https://github.com/vllm-project/vllm/compare/04c2a8d...3f5a1e1`,
},
migrations: {
up: async ({ effects }) => {},
Expand Down
2 changes: 1 addition & 1 deletion vllm
Submodule vllm updated 940 files
Loading