popoyaya

您好！我也遇到了这个问题，使用zero3，微调minicpm2.5卡住了。请问您解决了吗？

> 你好， > > 我在尝试在 NVIDIA V100 GPU 上运行模型时遇到了问题`InternVL2-8B`，收到错误`FlashAttention only supports Ampere GPUs or newer`。 > > 我在模型版本的问题部分找到了解决方案`Internvl-chat-1.2-plus`并成功应用了它。以下是我采取的步骤： > > 1. 转到`config.json`从 Huggingface 下载的包含权重的文件夹。 > 2. 删除该行`"attn_implementation": "flash_attention_2"` > 3....

> --lora_target_modules "to_q,to_k,to_v,add_q_proj,add_k_proj,add_v_proj,to_out.0,to_add_out,img_mlp.net.2,img_mod.1,txt_mlp.net.2,txt_mod.1" --lora_rank 32 --use_gradient_checkpointing --dataset_num_workers 8 --find_unused_parameters --enable_fp8_training > > 我不适用deepspeed在48G显存上按照这个参数是可以训练的 请问您每张卡上是多少显存呢？我在8张45G的A40上lora训练Qwen-Image-Edit-2509会爆显存。十分感谢！