FightingMan
FightingMan
``` root@a2968a9db901:/TensorRT-LLM/examples/qwen# python3 convert_checkpoint.py --qwen_type qwen2 --model_dir ./Qwen1.5-7B-Chat --output_dir ./Qwen1.5-7B-Chat-c-model [TensorRT-LLM] TensorRT-LLM version: 0.10.0.dev2024043000 0.10.0.dev2024043000 Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:03
Zh
嘿嘿
1.pass rotary_emb_base to gpt attention tensorrt_llm/models/qwen/model.py 2.change variable name： rotary_base -> rotary_emb_base examples/qwen/build.py