guojunwei comments

Repositories
Issues
Comments

Results 1 comments of


                                            guojunwei

加载微调后模型时报错object of type 'QuantState' has no len()

> > 把这行代码直接改成device='cuda'： > > https://github.com/THUDM/VisualGLM-6B/blob/main/cli_demo.py#L36 > > 改了之后还是同样的报错，然后这两天试的时候还有个新的问题，用QLora微调的话会报： Build 4bit layer failed.您需要安装最新的 bitsandbytes。尝试。（使用的还是bitsandbytes==0.39.0）按照报错信息更新了bitsandbytes之后QLora可以跑通，但是加载微调后的模型还是会报TypeError： object of type 'QuantState' has no len（）`pip install bitsandbytes` 你可以在 checkpoints/finetune-visualglm-6b-01-12-09-56 目录下查看一下微调之后的权重大小是多少，看是否是 7GB，还是 15GB。...