nenelin

微调DS_32B后merge_lora，将合并后的模型推理不生效

7

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \ swift deploy \ --adapters /mnt/data/ffcs/code/ms-swift/output/v1-20250423-180903/checkpoint-138 \ --infer_backend vllm \ --temperature 0 \ --max_new_tokens 2048 \ --tensor-parallel-size 8 \ --merge_lora true 控制台中，微调内容推理正常， 当单独使用合并后的文件夹进行 vllm推理的时候 微调后的内容不生效 from transformers import AutoModelForCausalLM,...