diff --git a/package-lock.json b/package-lock.json index 9582de4..fb6537b 100644 --- a/package-lock.json +++ b/package-lock.json @@ -87,9 +87,9 @@ "license": "MIT" }, "node_modules/@types/node": { - "version": "22.19.21", - "resolved": "https://registry.npmjs.org/@types/node/-/node-22.19.21.tgz", - "integrity": "sha512-VMeFBSCKQKmm2swI2kW51SFusDqekC6q9trBCvJ/JliDchFSuoYYKN7yVNjPthP1HKZcx3U1gI/wTcEBjEFKTA==", + "version": "22.20.0", + "resolved": "https://registry.npmjs.org/@types/node/-/node-22.20.0.tgz", + "integrity": "sha512-QWlFW2wf3nTjC13/DqRnBpR4ZO36VJH/JVBkA/vcnmbTBNQIlnObqyqZE1tUR7+Ni23Lda8R1BxMfbXRpCUx5g==", "dev": true, "license": "MIT", "dependencies": { @@ -107,9 +107,9 @@ } }, "node_modules/anynum": { - "version": "1.0.0", - "resolved": "https://registry.npmjs.org/anynum/-/anynum-1.0.0.tgz", - "integrity": "sha512-xjR9/zBVnUOP6ztMIIgShjsxui80nQUQH+5xJnvrYLs+90bF25/KJqaAi8mk+B4RDtX1Nspi6fmp4YTEts8SfA==", + "version": "1.0.1", + "resolved": "https://registry.npmjs.org/anynum/-/anynum-1.0.1.tgz", + "integrity": "sha512-N6//FLET/tXYNM/F6ABca1oH6fWB+KlTt909Le28WMDBk8oaT4vY17DCrwg2MvmuqUKt3Ni4N5dGJ/EoBgcO6A==", "funding": [ { "type": "github", @@ -228,9 +228,9 @@ } }, "node_modules/path-expression-matcher": { - "version": "1.5.0", - "resolved": "https://registry.npmjs.org/path-expression-matcher/-/path-expression-matcher-1.5.0.tgz", - "integrity": "sha512-cbrerZV+6rvdQrrD+iGMcZFEiiSrbv9Tfdkvnusy6y0x0GKBXREFg/Y65GhIfm0tnLntThhzCnfKwp1WRjeCyQ==", + "version": "1.6.1", + "resolved": "https://registry.npmjs.org/path-expression-matcher/-/path-expression-matcher-1.6.1.tgz", + "integrity": "sha512-h7bxdzhHk8Knyc4Tj+jMaa7fEEoUJy7p1qtbVgkYg1Uhpe5Np5VuGXCRZnkZvU+Q42M1vStt0ifa3ueykRJPmQ==", "funding": [ { "type": "github", @@ -259,9 +259,9 @@ } }, "node_modules/strnum": { - "version": "2.4.0", - "resolved": "https://registry.npmjs.org/strnum/-/strnum-2.4.0.tgz", - "integrity": "sha512-sHrVyWWdq28RbhjuJdZsA1SnGRJV6NiXbk6AXBxDOsgAcA+lmpUZCYjOdLBxkXMwis6RRe7dlZt4VlIWFVzkmg==", + "version": "2.4.1", + "resolved": "https://registry.npmjs.org/strnum/-/strnum-2.4.1.tgz", + "integrity": "sha512-M9eUSMT2dCB2cTNPG7UYj6KuK7RJR2SN2+yCV/fTW3xzTCS6EaGZ5pSMgDIjB7r8zSfTGk+dvvn9rTjpVS9Mwg==", "funding": [ { "type": "github", @@ -270,7 +270,7 @@ ], "license": "MIT", "dependencies": { - "anynum": "^1.0.0" + "anynum": "^1.0.1" } }, "node_modules/tr46": { diff --git a/startos/manifest/index.ts b/startos/manifest/index.ts index 2073035..eb7f9c3 100644 --- a/startos/manifest/index.ts +++ b/startos/manifest/index.ts @@ -10,7 +10,7 @@ const mutable = (value: T): Mutable => value as Mutable // Pinned upstream vLLM nightly commit. nvidia and rocm both run vLLM's official // prebuilt images at this commit, so they stay in lockstep — bump it on a vllm // update (and bump the submodule + versions to match). See UPDATING.md. -const NIGHTLY_SHA = '4c626633159887b0f2c962058c17c78f1434556d' +const NIGHTLY_SHA = '3f5a1e1733200760169ff31ebe60a271072b199e' // Upstream vLLM version of the bundled submodule, fed to the cpu source build as // SETUPTOOLS_SCM_PRETEND_VERSION (the submodule's .git isn't usable in the Docker diff --git a/startos/versions/current.ts b/startos/versions/current.ts index 2c1fb11..bf963fb 100644 --- a/startos/versions/current.ts +++ b/startos/versions/current.ts @@ -1,13 +1,13 @@ import { VersionInfo } from '@start9labs/start-sdk' export const current = VersionInfo.of({ - version: '0.23.1-rc.0:2', + version: '0.23.1-rc.0:8', releaseNotes: { - en_US: `Advances the bundled vLLM nightly build to commit 4c62663 (still on the upstream 0.23.1rc0 line). Highlights: new model support for HrmTextForCausalLM (Hierarchical Reasoning Model) and Gemma Diffusion on CPU, a new streaming parser engine with a MinimaxM2 parser (Nemotron V3 migrated to it), CORS support in the Rust frontend, and bug fixes for Gemma4 parsing with thinking disabled, a Qwen3 tool-call false positive, ROCm FP8 / MiniMax-M3 KV-cache issues, and pinned memory on WSL2. Note: the Dots1ForCausalLM model was removed upstream. Full changes: https://github.com/vllm-project/vllm/compare/6607a80...4c62663`, - es_ES: `Avanza la compilación nightly de vLLM incluida al commit 4c62663 (sigue en la línea upstream 0.23.1rc0). Novedades: soporte para los modelos HrmTextForCausalLM (Hierarchical Reasoning Model) y Gemma Diffusion en CPU, un nuevo motor de parser en streaming con un parser MinimaxM2 (Nemotron V3 migrado a él), soporte CORS en el frontend de Rust, y correcciones para el parseo de Gemma4 con el modo "thinking" desactivado, un falso positivo en las llamadas a herramientas de Qwen3, problemas de FP8 en ROCm y de caché KV en MiniMax-M3, y la memoria fijada en WSL2. Nota: el modelo Dots1ForCausalLM se eliminó en upstream. Cambios completos: https://github.com/vllm-project/vllm/compare/6607a80...4c62663`, - de_DE: `Aktualisiert den gebündelten vLLM-Nightly-Build auf Commit 4c62663 (weiterhin auf der Upstream-Linie 0.23.1rc0). Highlights: neue Modellunterstützung für HrmTextForCausalLM (Hierarchical Reasoning Model) und Gemma Diffusion auf der CPU, eine neue Streaming-Parser-Engine mit einem MinimaxM2-Parser (Nemotron V3 darauf migriert), CORS-Unterstützung im Rust-Frontend sowie Fehlerbehebungen für das Gemma4-Parsing bei deaktiviertem "Thinking", einen Qwen3-Tool-Call-Fehlalarm, ROCm-FP8-/MiniMax-M3-KV-Cache-Probleme und gepinnten Speicher unter WSL2. Hinweis: Das Modell Dots1ForCausalLM wurde upstream entfernt. Vollständige Änderungen: https://github.com/vllm-project/vllm/compare/6607a80...4c62663`, - pl_PL: `Aktualizuje dołączoną kompilację nightly vLLM do commitu 4c62663 (nadal na upstreamowej linii 0.23.1rc0). Najważniejsze: obsługa modeli HrmTextForCausalLM (Hierarchical Reasoning Model) oraz Gemma Diffusion na CPU, nowy silnik parsera strumieniowego z parserem MinimaxM2 (Nemotron V3 zmigrowany na niego), obsługa CORS we frontendzie Rust, a także poprawki parsowania Gemma4 przy wyłączonym trybie "thinking", fałszywego trafienia w wywołaniach narzędzi Qwen3, problemów FP8 w ROCm i pamięci podręcznej KV w MiniMax-M3 oraz przypiętej pamięci na WSL2. Uwaga: model Dots1ForCausalLM został usunięty w upstream. Pełne zmiany: https://github.com/vllm-project/vllm/compare/6607a80...4c62663`, - fr_FR: `Met à jour la version nightly de vLLM incluse vers le commit 4c62663 (toujours sur la ligne upstream 0.23.1rc0). Points forts : prise en charge des modèles HrmTextForCausalLM (Hierarchical Reasoning Model) et Gemma Diffusion sur CPU, un nouveau moteur de parser en streaming avec un parser MinimaxM2 (Nemotron V3 migré vers celui-ci), la prise en charge de CORS dans le frontend Rust, ainsi que des corrections pour l'analyse de Gemma4 lorsque le mode « thinking » est désactivé, un faux positif dans les appels d'outils de Qwen3, des problèmes de FP8 sur ROCm et de cache KV sur MiniMax-M3, et la mémoire épinglée sous WSL2. Remarque : le modèle Dots1ForCausalLM a été supprimé en amont. Changements complets : https://github.com/vllm-project/vllm/compare/6607a80...4c62663`, + en_US: `Advances the bundled vLLM nightly build to commit 3f5a1e1 (still on the upstream 0.23.1rc0 line). Highlights: the Rust frontend gains a unified/combined parser interface, xgrammar structural-tag support for strict and required tool calling, echo for token-ID completion prompts, and corrected reasoning-parser semantics; new MiniMax-M3 pipeline-parallelism and OpenMOSS-Team model support, plus CPU chunked prefill and prefix caching for Qwen3.5 and AArch64 MoE acceleration; and bugfixes for MiniMax/Kimi K2 tool-call streaming, non-ASCII tool-call arguments, and a security fix for an infinite loop on NaN audio samples. The legacy BaiChuan/Baichuan models were removed. Full changes: https://github.com/vllm-project/vllm/compare/04c2a8d...3f5a1e1`, + es_ES: `Avanza la compilación nightly de vLLM incluida al commit 3f5a1e1 (sigue en la línea upstream 0.23.1rc0). Destacados: el frontend Rust gana una interfaz de analizador unificada/combinada, soporte de structural-tag de xgrammar para llamadas a herramientas strict y required, echo para prompts de completions por ID de token y semántica de reasoning-parser corregida; nuevo soporte de paralelismo de pipeline para MiniMax-M3 y de modelos OpenMOSS-Team, además de prefill por fragmentos y caché de prefijos en CPU para Qwen3.5 y aceleración de MoE en AArch64; y correcciones para el streaming de llamadas a herramientas de MiniMax/Kimi K2, argumentos de llamadas a herramientas no ASCII y una corrección de seguridad para un bucle infinito con muestras de audio NaN. Se eliminaron los modelos heredados BaiChuan/Baichuan. Cambios completos: https://github.com/vllm-project/vllm/compare/04c2a8d...3f5a1e1`, + de_DE: `Aktualisiert den gebündelten vLLM-Nightly-Build auf Commit 3f5a1e1 (weiterhin auf der Upstream-Linie 0.23.1rc0). Highlights: Das Rust-Frontend erhält eine vereinheitlichte/kombinierte Parser-Schnittstelle, xgrammar-Structural-Tag-Unterstützung für strict- und required-Tool-Calls, echo für Token-ID-Completion-Prompts sowie korrigierte Reasoning-Parser-Semantik; neue Pipeline-Parallelism-Unterstützung für MiniMax-M3 und OpenMOSS-Team-Modelle, dazu Chunked-Prefill und Prefix-Caching auf CPU für Qwen3.5 sowie AArch64-MoE-Beschleunigung; und Fehlerbehebungen für MiniMax-/Kimi-K2-Tool-Call-Streaming, Nicht-ASCII-Tool-Call-Argumente und ein Sicherheitsfix für eine Endlosschleife bei NaN-Audio-Samples. Die veralteten BaiChuan/Baichuan-Modelle wurden entfernt. Vollständige Änderungen: https://github.com/vllm-project/vllm/compare/04c2a8d...3f5a1e1`, + pl_PL: `Aktualizuje dołączoną kompilację nightly vLLM do commitu 3f5a1e1 (nadal na upstreamowej linii 0.23.1rc0). Najważniejsze: frontend Rust zyskuje zunifikowany/łączony interfejs parsera, obsługę structural-tag z xgrammar dla wywołań narzędzi strict i required, echo dla promptów completions po ID tokena oraz poprawioną semantykę reasoning-parser; nowa obsługa równoległości potoku dla MiniMax-M3 i modeli OpenMOSS-Team, a także prefill fragmentowy i cache prefiksów na CPU dla Qwen3.5 oraz przyspieszenie MoE na AArch64; a także poprawki strumieniowania wywołań narzędzi MiniMax/Kimi K2, argumentów wywołań narzędzi spoza ASCII oraz poprawka bezpieczeństwa dla nieskończonej pętli przy próbkach audio NaN. Usunięto przestarzałe modele BaiChuan/Baichuan. Pełne zmiany: https://github.com/vllm-project/vllm/compare/04c2a8d...3f5a1e1`, + fr_FR: `Met à jour la version nightly de vLLM incluse vers le commit 3f5a1e1 (toujours sur la ligne upstream 0.23.1rc0). Points forts : le frontend Rust gagne une interface de parseur unifiée/combinée, la prise en charge des structural-tag de xgrammar pour les appels d'outils strict et required, echo pour les prompts de completions par ID de token et une sémantique de reasoning-parser corrigée ; nouvelle prise en charge du parallélisme de pipeline pour MiniMax-M3 et des modèles OpenMOSS-Team, ainsi que le prefill par blocs et la mise en cache de préfixes sur CPU pour Qwen3.5 et l'accélération MoE sur AArch64 ; et des corrections pour le streaming des appels d'outils MiniMax/Kimi K2, les arguments d'appels d'outils non ASCII et un correctif de sécurité pour une boucle infinie sur des échantillons audio NaN. Les modèles hérités BaiChuan/Baichuan ont été supprimés. Changements complets : https://github.com/vllm-project/vllm/compare/04c2a8d...3f5a1e1`, }, migrations: { up: async ({ effects }) => {}, diff --git a/vllm b/vllm index 4c62663..3f5a1e1 160000 --- a/vllm +++ b/vllm @@ -1 +1 @@ -Subproject commit 4c626633159887b0f2c962058c17c78f1434556d +Subproject commit 3f5a1e1733200760169ff31ebe60a271072b199e