BUZZ0328

> lora的话想减小显存可以考虑减小batch size，batch size=1只需要18G显存。 lora微调怎么指定卡号呢，我有六张卡每一张都是24G，我看运行的时候是默认占用所有的显卡，我只想用其中一张可以吗，如果可以的话应该怎么设置呢

> https://github.com/THUDM/VisualGLM-6B/blob/main/finetune/finetune_visualglm_qlora.sh#L55 > > `--include localhost:0`改成对应的卡号，也可以多卡，比如`--include localhost:2,3,4` lora微调应该怎么修改呢

> > https://github.com/THUDM/VisualGLM-6B/blob/main/finetune/finetune_visualglm_qlora.sh#L55 > > `--include localhost:0`改成对应的卡号，也可以多卡，比如`--include localhost:2,3,4` > > lora微调应该怎么修改呢 已解决和qlora一样设置的设置方法就可以

> > > 把这行代码直接改成device='cuda'： > > > https://github.com/THUDM/VisualGLM-6B/blob/main/cli_demo.py#L36 > > > > > > 改了之后还是同样的报错，然后这两天试的时候还有个新的问题，用QLora微调的话会报： Build 4bit layer failed.您需要安装最新的 bitsandbytes。尝试。 （使用的还是bitsandbytes==0.39.0） 按照报错信息更新了bitsandbytes之后QLora可以跑通，但是加载微调后的模型还是会报TypeError： object of type 'QuantState' has no len（）`pip install...

> > > > https://hf-mirror.com/ > > > > > > > > > 那分词器是也需要放在visualglm-6b文件夹下吗？ > > > > > > 是的，全都需要，都需要提前准备好，并修改相应配置文件、代码中的路径 > > 收到，把model_config.json里的tokenizer_type改成本地chatglm的路径就可以了~ #请问下载的模型和分词器是放在如图上放置吗，还缺什么文件吗，model_config.json里的tokenizer_type这里修改为/home/root1/data/glm/VisualGLM-6B/THUDM/visualglm-6b（这是我图上的路径），tokenizer_config.json里的name_or_path也一样修改对吗？

> 已解决 请问怎么解决的，我是用cli_demo.py也出现了同样的问题

> 我按照您提供的方法加载了YOLOV7模型画图但是我画出的图 横纵坐标的初始0没有一起在左下角 可以分享一下如何绘制yolov7依赖图的代码吗，非常感谢。