xiaobai52HZ

请问用peft的ptuning微调后的llama2 7b模型如何与ptuning增量模型合并成一个模型？

peft中的其他微调方法，例如ptuning tuning等微调方法没有merge_and_unload()，该如何合并peft的ptuning tuning与预训练模型呢？

Parameter server can not run

2

environment: CUDA 1.17 tensorflow2.14 code: https://github.com/tensorflow/models/blob/master/official/recommendation/ncf_keras_main.py command: python3 /LLM/models/official/recommendation/ncf_keras_main.py --distribution_strategy parameter_server --model_dir /LLM/models/dataset/ncf_model --data_dir /LLM/models/dataset/ --dataset ml-1m --train_epochs 3 --batch_size 8000 --learning_rate 0.00382059 --beta1 0.783529 --beta2 0.909003 --epsilon 1.45439e-07 --layers...

修改代码以便可以从onnx转换为trt格式

1

后续可以使用trtexec工具转换为trt格式 trtexec --onnx=./model.onnx --saveEngine=./trt/model.plan --optShapes=input_ids:1,attention_mask:1x1x1x1026,position_ids:1x1,past_key_values:32x2x1x32x1025x128 --minShapes=input_ids:1,attention_mask:1x1x1x1,position_ids:1x1,past_key_values:32x2x1x32x0x128 --maxShapes=input_ids:1024,attention_mask:1x1x1024x2049,position_ids:1x1024,past_key_values:32x2x1x32x1025x128 --device=1 --fp16