llm-export

llm-export copied to clipboard

qwen2-vl 转成 onnx 后，如何再通过 tensorrt 单独把 visual 部分转成 plan ？

5

scdotbox

inisis

修改代码以便可以从onnx转换为trt格式

1

后续可以使用trtexec工具转换为trt格式 trtexec --onnx=./model.onnx --saveEngine=./trt/model.plan --optShapes=input_ids:1,attention_mask:1x1x1x1026,position_ids:1x1,past_key_values:32x2x1x32x1025x128 --minShapes=input_ids:1,attention_mask:1x1x1x1,position_ids:1x1,past_key_values:32x2x1x32x0x128 --maxShapes=input_ids:1024,attention_mask:1x1x1024x2049,position_ids:1x1024,past_key_values:32x2x1x32x1025x128 --device=1 --fp16

xiaobai52HZ

I want to export this model. How to add the architecture? Or do you have plans to add it?

Sovego

Qwen/phi2 模型转换出错

2

分别跑了Qwen1.5-1.8B-Chat和Qwen-1_8B-Chat，报了类似的问题： 以Qwen1.5-1.8B-Chat举例： 使用tramsformers==4.31.0： ``` Traceback (most recent call last): File "/data_sdb/demos/mnn-llm/models/llm-export/llm_export.py", line 135, in load_hf self.model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True).float().eval() File "/home/xinzhe02/.local/lib/python3.9/site-packages/transformers/models/auto/auto_factory.py", line 526, in from_pretrained config, kwargs = AutoConfig.from_pretrained( File...

xhzheng1895

Qwen2-7B-Instruct 转 MNN 报错：google.protobuf.message.DecodeError: Error parsing message

2

windows 11，python 版本 3.9.19 其他依賴版本： (llmexport) PS C:\Users\yanpe\work\mnn\llm-export> conda list packages in environment at C:\tools\Miniconda3\envs\llmexport: Name Version Build Channel accelerate 0.31.0 pypi_0 pypi ca-certificates 2024.3.11 haa95532_0 certifi 2024.6.2 pypi_0 pypi...

pcyan3166

请问什么时候会支撑internlm-xcomposer2-vl模型，或者我想将这个模型转成Onnx需要注意什么

aflyhat

原生的只支持 phi-2，理论上对 phi-1_5也是支持的，下面是我参考 phi-2的写了load_model函数，模型倒是能正常导出来，但好像是一些参数对不上，导出来 的模型推理也不正常，麻烦帮忙看下，非常感谢！这是模型地址：https://huggingface.co/microsoft/phi-1_5 下面是我写的load_model函数： def load_model(self): transformer = self.model.model self.lm = self.model.lm_head self.embed_ = transformer.embed_tokens self.hidden_size = self.embed_.weight.shape[-1] self.blocks_ = transformer.layers self.final_layernorm_ = transformer.final_layernorm # Some wrapper self.stop_ids.append(self.tokenizer.eos_token_id)...

aa03146

convert qwen-7b-chat , failed

4

When I run: python llm_export.py --type Qwen-7B-Chat --path /mnt/LLM_Data/Qwen-7B-Chat --export_split --export_token --export_mnn --onnx_path /mnt/LLM_Data/Qwen-7B-Chat-onnx --mnn_path /mnt/LLM_Data/Qwen-7B-Chat-mnn I got: Loading checkpoint shards: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 8/8 [00:06

smartparrot

Would it be possible to provide wiki or md file on how to add supported models?

hyperbolic-c