nenelin

> 微调的shell有嘛 swift export \ --adapters output/vx-xxx/checkpoint-xxx \ --merge_lora true 使用这个合并之后 vllm启动微调内容不生效 nohup bash -c 'CUDA_VISIBLE_DEVICES=0,1,2,3,4 swift deploy \ --adapters /checkpoint-xxxx \ --stream true \ --infer_backend vllm \ --gpu_memory_utilization 0.9...

> > 不要用官方的导出方式，使用以下命令导出即可，感觉很乱啊 swift export --model_type internvl3 --template internvl2_5 --merge_lora True --output_dir XXX --ckpt_dir XXX > > 这个work吗？不是应该有三个地址吗，微调完一个lora的checkpoint，还有一个基本模型，以及merge后输出的模型 这个命令是官网拿的 我model没有换，实际写的没有问题，使用的deepseek

> merge-lora是使用命令行方式做的嘛 > > > 我也有这个问题，web上微调后，再使用web页面的推理，都正常，导出lora检查点合并模型权重后，丢失微调的内容 导出命令： swift export --adapters /home/data/llm_train/ms-swift/ms-swift/output/bg_vl_out/3/v0-20250424-164656/checkpoint-270 --merge_lora true 部署使用方法是： swift deploy --model /home/data/llm_train/ms-swift/ms-swift/output/bg_vl_out/3/v0-20250424-164656/merge/3 --infer_backend pt --temperature 0.3 --max_new_tokens 2048 --served_model_name 'bg_vl' 请问这个合并目前有样例吗

> > > merge-lora是使用命令行方式做的嘛 > > > > 我也有这个问题，web上微调后，再使用web页面的推理，都正常，导出lora检查点合并模型权重后，丢失微调的内容 导出命令： swift export --adapters /home/data/llm_train/ms-swift/ms-swift/output/bg_vl_out/3/v0-20250424-164656/checkpoint-270 --merge_lora true 部署使用方法是： swift deploy --model /home/data/llm_train/ms-swift/ms-swift/output/bg_vl_out/3/v0-20250424-164656/merge/3 --infer_backend pt --temperature 0.3 --max_new_tokens 2048 --served_model_name 'bg_vl' >...

> This is the problematic part: > > `root@bytebot-1:/opt/bytebot/packages/bytebot-agent/src/proxy# egrep -A 2 -B 8 "effort" proxy.service.ts` ` );` ` try {` ` // Prepare the Chat Completion request` ` const...