rover5056
rover5056
@micheal-death I am trying your method.. Could you give more step or details Thank you very much!
I found this question too. When send 2 offers , the received bot will only fired newOffer once. @Baterka How do you solute this bug? THX~
same error~
> 你好，这是正常的。如果需要开到更高，可以尝试使用gradient_accumulation_steps来调整 默认参数的8.。。是针对B200设置的么。。。 之前7B的模型ft也能开到16的bs， 模型加载不是只要8G左右的显存么。。剩下的70G只能4个batch么~ 还是有点奇怪
跑是能跑的 全量微调 bs =4 ，gradient_accumulation_steps 8 左右可以稳定跑 低了有概率oom
还没来得及看代码 理论上1.8B的模型不应该是这个情况。。。
@Jintao-Huang 求问下，如果想先训练 visual下的 merger，需要指定 freeze_parameters 还是 trainable_parameters，我看这两个默认都是 [], 感觉是冲突的？ 同时 freeze_llm ，freeze_vit ，freeze_aligner 这三个参数对qwen2vl 可以自动识别么？。。 🔥freeze_llm: 冻结LLM. 默认为False. 可用于全参和LoRA 🔥freeze_vit: 冻结ViT. 默认为True. 可用于全参和LoRA 🔥freeze_aligner: 冻结aligner. 默认为True, 可用于全参和LoRA 贴个 qwen2vl 的结构图，不知道我表达清楚没。。：
I'll attempt to develop VLM part, Thanks～ @hijkzzz