AIxyz
Results
1
comments of
AIxyz
使用如下命令倒是能限制它推理时的显存占用不超过5G，运行内存占用不超过12G，但一开始加载fp16格式的chatglm模型时它要把运行内存全打满，很容易就被kill ````sh export JT_SAVE_MEM=1 export cpu_mem_limit=12000000000 export device_mem_limit=5000000000 ````