微调使用的什么类型，全参数还是lora

[TAOSHss]

我有一个问题，在预训练和知识注入，微调使用的什么类型，全参数还是lora，只冻结了LLM然后微调vision encoder 和 projection module；
grpo阶段呢，是什么类型的训练呢,full 还是lora，冻结了vision encoder 和 projection module吗； 我在做另一个领域的垂类多模态大模型，参考一下您的项目感谢

[shuyansy]

您好，预训练和知识注入用的是全参数；grpo也是full，会把vision encoder，projection module 和llm全部打开；可以参考vlm-r1项目

[TAOSHss]

您好，预训练和知识注入用的是全参数；grpo也是full，会把vision encoder，projection module 和llm全部打开；可以参考vlm-r1项目

感谢回答，之前提出疑问是因为，预训练和知识注入我看论文3.2章节里写到知识注入部分只会冻结LLM ，然后配图2中的知识注入部分是冻结了vision encoder和llm；
目前我对grpo全参数没用疑问，但是知识注入这部分还是有一些疑问，放开LLM的话不会导致LLM损失很多通用能力吗？只放开projection module 效果会很差吗 或者 只冻结LLM效果会很差吗

[shuyansy]

我尝试了是否打开llm 效果差不多，但是因为只在医学上做了实验，可能确实会有您说的这个情况，我可以测下两个模型在通用任务上的效果然后给您feedback