chatglm.cpp icon indicating copy to clipboard operation
chatglm.cpp copied to clipboard
Published 1 year ago • verified publisher icon li-plus

可不可以试试visualglm?

Open billzhao9 opened this issue 2 years ago • 1 comments

感觉这个对visualglm 这种吃内存显存的更有用

billzhao9 avatar Jun 27 '23 10:06 billzhao9

VisualGLM README 里提到 "只量化ChatGLM，ViT 量化时误差较大"，可能还是得用 fp16 跑 visual 部分

li-plus avatar Jul 03 '23 03:07 li-plus