您好，想问一下批量推理测试图片应该怎么修改代码呢，期望您的回复，谢谢

[luluvi]

[AICVHub]

申请CUDA内存的时候，需要申请与一个batch的输入、输出大小相等的内存： d_input = cuda.mem_alloc(batch_size * input.size * input.dtype.itemsize) d_output = cuda.mem_alloc(batch_size * output.size * output.dtype.itemsize) 然后，将一个batch的input送入模型推理，当然结果出来也是一个batch的结果，接上你自己的后处理即可。