charlist8324

我也有这个问题，web上微调后，再使用web页面的推理，都正常，导出lora检查点合并模型权重后，丢失微调的内容 导出命令： swift export --adapters /home/data/llm_train/ms-swift/ms-swift/output/bg_vl_out/3/v0-20250424-164656/checkpoint-270 --merge_lora true 部署使用方法是： swift deploy \ --model /home/data/llm_train/ms-swift/ms-swift/output/bg_vl_out/3/v0-20250424-164656/merge/3 \ --infer_backend pt \ --temperature 0.3 \ --max_new_tokens 2048 \ --served_model_name 'bg_vl'

不要用官方的导出方式，使用以下命令导出即可，感觉很乱啊 swift export --model_type internvl3 --template internvl2_5 --merge_lora True --output_dir XXX --ckpt_dir XXX

> 因为 其他卡都不可见了 因此6卡 编号成了0卡 这也是bug啊，llama factory就不会这样