ms-swift
ms-swift copied to clipboard
Value Error("Please setting '--model_type <model_type>'")
Describe the bug
推理llama-3-8B模型显示没有这个类型的模型
Your hardware and system info 这个是因为还未支持llama3吗?看README说已经支持了
Additional context
已经支持了 你的sh是什么呢
以下是我的脚本,报如上错误:
CUDA_VISIBLE_DEVICES=0,1 \ swift infer \ --ckpt_dir /home/llama3-8b-instruct" \ --load_dataset_config true \ --max_new_tokens 2048 \ --temperature 0.1 \ --top_p 0.7 \ --repetition_penalty 1. \ --do_sample true \ --merge_lora false \
CUDA_VISIBLE_DEVICES=0,1 swift infer \
--model_type llama3-8b-instruct --model_id_or_path /home/llama3-8b-instruct" ...