stoooner

> Hi, sorry to write here. I've tried your branch with tensorrt and yolov7-tiny custom trained on a Nvidia Jetson Xavier NX. I converted the model trained from pytorch with...

> @Stoooner > hi,professor: > i also try to convert onnx model to TensorRT,use trtexec, but i got an error like this: > **ERROR: builtin_op_importers.cpp:980 In function importGather: > [8]...

> 请问这个是不通过deepstream的吗？我想在jetson上运行自己魔改的yolo一直没成功过…… 不通过deepstream，yolo的我也运行起来了，邮箱[email protected]，发邮件加微信详聊呗。。。

> 请问您的项目地址？ 我上传了我自己的GitHub，只不过暂时处于private状态(因为项目里用到了这部分代码)，如果你确有需求可以私聊我或者留下你的微信我加你，谢谢。

> 必然 确实，lightning的效果确实如你所说，我这边也的导出了stark_st50的onnx并且以onnxruntime(c++)进行了推理，这个效果不错。但是就如你所说的，lightning用于性能比较羸弱的计算设备上是比较合适的，而stark_st50导出的onnx在性能羸弱的设备上速度就比较差了。此外我还在性能更差的Jetson TX2上测试了lightning(onnxruntime c++)的代码，能够达到30fps以上，因此效果还行。我在着手将stark的onnx以TensoRT(c++)的方式进行推理并且辅以cuda加速前后处理，等有了结果我再提issue.

> > lightning的效果跟本没法落地 > > Really? There are many ways to optimize a research model for practical deployment. Looking forward to seeing your advance. 确实，lightning的效果确实如你所说，我这边也的导出了stark_st50的onnx并且以onnxruntime(c++)进行了推理，这个效果不错。但是就如你所说的，lightning用于性能比较羸弱的计算设备上是比较合适的，而stark_st50导出的onnx在性能羸弱的设备上速度就比较差了。此外我还在性能更差的Jetson TX2上测试了lightning(onnxruntime c++)的代码，能够达到30fps以上，因此效果还行。我在着手将stark的onnx以TensoRT(c++)的方式进行推理并且辅以cuda加速前后处理，等有了结果我再提issue.

我这边把tensorRT版本的跑起来了，在另外一个issue中，各位有兴趣可以去看看

大佬啊，我也遇到了AttributeError: 'NoneType' object has no attribute 'create_execution_context'这个问题，已经跟install和install_trt里要求的安装成了一模一样了，但是还是报了这个错误，完全不知道哪里错了，只能定位到test_ocean.py里t_bk.load_state_dict(torch.load(t_bk_path))这句开始错了，应该是加载的这个trt文件有问题吧？是不是大佬传上去的trt模型有问题呢？

> Hey @Stoooner, first of all, congrats! :D The improved runtimes look pretty good. Do you possibly have the converted models or conversion scripts available somewhere? Hi @zanilzanzan, my script...

> First of all congratulations, great work, can you provide a detailed script for onnx transfer? Thanks! 原始python代码中有很多细节我进行了更改，这边即便给你onnx导出脚本，你也应该是没法使用的，你可以直接参照stark模型的onnx导出脚本进行更改，如果还是想询问细节的话可以给我发邮件，我的邮箱是[email protected].