Jack Mu

> Did you ever find a solution to this? I am getting an issue with basically any NDK or boost version on arm64-v8a, where it looks like there is invalid...

> > 建议切换到trt，对性能提升更好，可以参考相关代码 > > https://github.com/flyme2023/bge > > 太感谢了，因为刚刚才在排查转为trt推理结果和onnx不一致的问题。我使用的是nvidia的nvcr.io/nvidia/tensorrt:23.06-py3 容器内执行：trtexec --onnx=/workspace/model.onnx --saveEngine=/workspace/model.plan --minShapes=input_ids:1x1,attention_mask:1x1 --optShapes=input_ids:6x128,attention_mask:6x128 --maxShapes=input_ids:24x512,attention_mask:24x512 --memPoolSize=workspace:8096 --fp16 上述命令行进行转换的方法，试过好多次。推理结果出错，正在使用polygraphy排查。。谢谢你的参考资源 我也遇到了 reranker 转为 trt 和 onnx 不一致的问题，请问您排查出原因了吗 😊

我也遇到了这个问题，P-Tuning v2 训练中，貌似 deepspeed 没有正确的自动加载 gradient_accumulation_steps。 在 deepspeed_config.json 中手动设置了 gradient_accumulation_steps 后，loss 恢复正常