atomrun39

I followed this tutorial and it succeeded. https://colab.research.google.com/drive/1OKzbccsdA40sJ67gqmNyblWuEMCfP5zx?usp=sharing#scrollTo=dvN2-COJ9w4k

求解这是为什么呀，我sat和VisualGLM-6B仓库代码都是新版本 @1049451037 跑官方例子，微调后直接乱码 

SwissArmyTransformer是0.4.8版本，已经是最新版本了，然后直接用cli_demo.py还是报了这个错，请问是怎么解决的呀？ @ai499 @1049451037 [INFO] DeepSpeed/CUDA is not installed, fallback to Pytorch checkpointing. [INFO] [real_accelerator.py:158:get_accelerator] Setting ds_accelerator to cuda (auto detect) [WARNING] Failed to load bitsandbytes:No module named 'bitsandbytes' [INFO] building...

> 试一下安装github最新版sat > > ``` > git clone https://github.com/THUDM/SwissArmyTransformer > cd SwissArmyTransformer > pip install . > ``` 谢谢解决了这个问题！但又出现了新问题，推理时要是使用gpu，就会报以下错误： RuntimeError: The NVIDIA driver on your system is too old (found...

> 呃，cpu推理是不支持cuda的呀，cuda是gpu的 对，我意思就是用不了gpu，看了下torch.cuda.is_available()确实是false，感谢回复

> > 如果是多卡测试，可以参考eval_mm/evaluate_caption.py 的实现来进行多卡和组batch执行 > > 我尝试这样做，但是使用model.generate()的方法, 生成效果远远不如model.chat()，请问model.chat()有批量推理的方法嘛？ 同求，请问该怎么实现啊 @ShuaiBai623

训练脚本中添加 --ddp_backend hccl 就可以了

> `print(f'{sum(p.numel() for p in model.parameters() if p.requires_grad)/1e9} B')` Thank you, I calculated that version 1.0 is around 1B