GuGu

嗯嗯 这个问题已经解决了 现在是会有这个错误 我现在想训练的模型是 Qwen2.5-Coder-7B-Instruct 是这个的原因么？ [rank1]: File "/root/miniconda3/envs/deepspeed/lib/python3.10/site-packages/transformers/models/auto/configuration_auto.py", line 761, in __getitem__ [rank1]: raise KeyError(key) [rank1]: KeyError: 'qwen2'

还想再请教一下训练后的checkpoint 可以 使用vllm的 vllm serve Qwen/Qwen2.5-Coder-7B-Instruct --dtype=half --tensor-parallel-size 4 --download-dir Qwen/v1 --enable-lora --lora-modules lora_name=checkpoint-xx 这个方式直接加入到启动的server服务中么？ 怎么能过验证一致这样的启动方式是否已经是加入了这些checkpoint呢