qwen3.5 GKD输出感叹号

[yph22]

Checklist / 检查清单

• I have searched existing issues, and this is a new bug report. / 我已经搜索过现有的 issues，确认这是一个新的 bug report。

Bug Description / Bug 描述

进行GKD训练时 某一步显示student rollout的logP为NAN，查看输出为全都是感叹号（torch2.10）。我注意到#9619
也有类似的问题，是否需要降级到torch2.9？以及对应的vllm是否支持qwen3.5？

How to Reproduce / 如何复现

torch=2.10.0
vllm=0.17.0
swift=4.3.0.dev0

Additional Information / 补充信息

No response

[hjh0119]

建议升级vllm 0.17 我记得bug挺多的

[yph22]

建议升级vllm 0.17 我记得bug挺多的

我刚测试升级了vllm到0.19.0，但是训练了一会儿还是出现Nan，输出变成重复的感叹号

[hjh0119]

这种一般是训崩了

[yph22]

这种一般是训崩了

看rollout的输出日志 并没有逐渐变差/崩溃的迹象 前一个step还很正常 下一个step突然全部输出感叹号，不太像训练导致的崩溃。我看到一些issue说和zero3有关（但是我的场景下显存只允许zero3），我之前试过zero3_offload，但是遇到了cuda error: an illegal memory access was encountered #9609 (comment)
换成zero3没有出现这个问题了 但是出现了这个感叹号的问题，现在还在测试

[hjh0119]

我之前试过zero3_offload，但是遇到了cuda error: an illegal memory access was encountered

可以提供下报错栈和复现脚本

[mccatec]

这种一般是训崩了

看rollout的输出日志 并没有逐渐变差/崩溃的迹象 前一个step还很正常 下一个step突然全部输出感叹号，不太像训练导致的崩溃。我看到一些issue说和zero3有关（但是我的场景下显存只允许zero3），我之前试过zero3_offload，但是遇到了cuda error: an illegal memory access was encountered #9609 (comment) 换成zero3没有出现这个问题了 但是出现了这个感叹号的问题，现在还在测试

try torch 2.9.0/2.9.1