xiulian
xiulian
> @lijian10086 请问训练的时候cuda和cudnn版本是多少，一直提示 > Loaded runtime CuDNN library: 7600 (compatibility version 7600) but source was compiled with 7102 (compatibility version 7100). If using a binary install, upgrade your CuDNN library...
你用的那个cuda版本的docker？GPU型号是哪个版本？ @Juruobudong
目前我测下来pdserving_0.9.0，cuda10.1好像没有显存的溢出问题，在cuda11.2版本上显存的释放确实存在问题，建议使用10.1的版本
我用的是docker部署的，registry.baidubce.com/paddlepaddle/serving:0.9.0-cuda10.1-cudnn7-runtime，感觉内存不释放应该是PaddlePaddle的问题，所以你注意以下PaddlePaddle的版本
你开启一下GPU的内存优化，然后开启一下输入图片的resize预处理，就可以解决上面的问题了
config.yml文件里面，mem_optim: True，文本检测和文字识别里面都添加一下
内存优化的话我测试下来是在内存块占满了的时候，才会触发优化机制。感觉你这GPU的内存占用有点多了，你有设置预处理里面图片最长边的size吗？
抱歉代码删了，找不到了
给你发了另一个版本的你可以去看看 @TianTang1993
用这个就行了， ` from finetune_visualglm import FineTuneVisualGLMModel model, args = FineTuneVisualGLMModel.from_pretrained('checkpoints/finetune-visualglm-6b-07-11-13-56', args=argparse.Namespace( fp16=True, skip_init=True, use_gpu_initialization=True, device='cuda', )) ` 但是测试发现，微调前后效果并不明显，如果增加迭代次数就导致其他地方效果影响明显