请问将视觉模型参数均匀分到多张GPU上的例子在哪里？

[admin12332]

请问有视觉模型参数均匀分到多张GPU上的例程么

[lvhan028]

当引擎是 turbomind engine 时，vision 模型的forward是复用的上游库，会把视觉模型通过 accelerate 切到不同的 rank上。
可参考代码：

lmdeploy/lmdeploy/vl/model/internvl.py

Line 129 in ef0cfe7

load_checkpoint_and_dispatch(model=model,

当引擎是 pytorch engine，vision 模型的forward在引擎中实现，权重已 tensor parallel 的方式切分到不同 rank 上。