Describe the feature
项目上需要多个任务分开训练多个lora,之后用vllm多lora部署推理,所以需要每个lora单独的hf权重,不能merge
Paste any useful information
我看文档说暂不支持该功能
https://swift.readthedocs.io/zh-cn/latest/Megatron-SWIFT/LoRA%E8%AE%AD%E7%BB%83.html#mcorehf
这个的卡点是得在megatron内部实现吗
目前折中办法是不是只能放弃megatron使用swift+peft+deepspeed