Pytorch2TensorRT

Pytorch2TensorRT copied to clipboard

使用 ` cv2.imwrite(result_path, output)`保持预测结果不起作用， 期待您的回复

ke-dev

转int8模型时没有生成.cache文件

5

你好，我用main.py转了int8的trt，当我用inference测试的时候，输出全是nan，我怀疑是校准器没有工作，因为并没有生成任何校准文件，同时myCalibrator.py中的next_batch，get_batch_size, get_batch等函数均没有被执行，因为每执行一次，我会打印一些东西。不知道如何解决这个问题，能否提供一些思路？

hhhharold

您好，我在使用do_inference.py时，发生如下错误  不知是否和我的自己转换的onnx有关？ 另外您的centernet是使用的原版的代码还是自己构建的？

evil-potato

问题一：模型转为int8后，前处理需要相应的变化么，我看到你的calibrator里没有normalize这个操作。问题二：calibrator的batchsize和前推的batchsize是不是需要保持一致？

2

LIUHAO121

myCalibrator.py 中校验图片的 val.txt 的格式是什么呢

3

RT

forever208

您好，想问一下批量推理测试图片应该怎么修改代码呢，期望您的回复，谢谢

1

luluvi

你好，我想用int8量化之后的模型部署，但是报错不支持int8，这个有什么方法可以解决吗？是版本不对还是跟显卡驱动有关

3


young169

推理不用c++部署？仍然用py？

1

henbucuoshanghai

Hi, After translating and reading through your code it seems to be mainly meant for TRT 8.X release. Do you think your approach should work with TRT 9.X.0 releases?

NevermindNilas

你好

3

我自己的模型 pth和onnx的结果一致，数字一致，但是trt的结果却不一致。请问怎么办呢？怎么会这样

henbucuoshanghai