corki156

> Could you please point to a part of code which corresponds to SAU module from p. 3.2. "Semantic-Aware Upsampling" ? Have you found it? I met the same problem.

> > 是的 > > 感谢您的解答。 一些信息需要确认，mixins.eva.model.vit.transformer.layers是视觉模型，mixins.eva.model.qformer.transformer.layers是BLIP-2的轻量级查询 Transformer，transformer.layers是ChatGLM的参数，是吗？ 请问在加载的模型的时候，您试过将不同权重迁移到不同的模型中，从而实现多GPU训练吗？

> > 求解这是为什么呀，我sat和VisualGLM-6B仓库代码都是新版本 @1049451037 跑官方例子，微调后直接乱码  > > 大哥我也遇到了这个问题，请问你最后解决了吗？ 大哥，我也遇到这个问题了，请问解决了吗？

> 显卡资源有限 (4070*2), 用lora+model parallel 还是会报错OOM(并且根据这个issue作者有提到这个[#209 (comment)](https://github.com/THUDM/VisualGLM-6B/issues/209#issuecomment-1683482499)) > > 我根据#209 这个issue修改了finetune_qlora.sh和finetune_visualglm.py这两个文件 > > 但是如果用qlora的话如果要先在cpu上加载模型,那么 model, args = FineTuneVisualGLMModel.from_pretrained(model_type, args, overwrite_args={'model_parallel_size':2}) 这个命令就无法执行了(我只有一个cpu) > > 那这样的话请问怎么实现用qlora+model parallel呢 请问您实现了吗？能进一步探讨下吗？

> 微调模型训练已完成，为何调用时依然出现问题呢？ python cli_demo.py --from_pretrained "checkpoints/finetune-visualglm-6b-01-24-20-02/" --quant 4 [2024-01-25 10:40:45,884] [INFO] [real_accelerator.py:191:get_accelerator] Setting ds_accelerator to cuda (auto detect) > > ===================================BUG REPORT=================================== Welcome to bitsandbytes. For bug reports, please run...

> 内存满了 但是swap还有很多的空间 但是就是被kill了 老哥，现在你能多卡部署推理了吗？我也遇到这个问题，无法解决。

> 当我在训练MMrotate时， 在config配置文件中加入optim_wrapper = dict( type='OptimWrapper', optimizer = dict( type='AdamW', lr=0.0002, #/8*gpu_number, betas=(0.9, 0.999), weight_decay=0.05), accumulative_counts=2)时， 发现optim_wrapper并没有被解析，用的是schedule_1x.py里面的默认optimizer， optimizer = dict(type='SGD', lr=0.0025, momentum=0.9, weight_decay=0.0001)， 相关库的版本： mmcv-full:1.7.0 mmengine：0.10.4 mmrotate:0.3.4 在MMrotate中怎样正确使用梯度累积呢 你好，请问解决了吗？我也遇到了相关问题，发现梯度累加不了

> 如果不需要模型并行、zero优化器等技术，sat构造出来的model就可以当作一个正常的pytorch module来用。 > > ```python > from sat import AutoModel > model, args = AutoModel.from_pretrained("bert-base-uncased") > model = model.cuda() > inputs = {'input_ids': torch.LongTensor([[1, 2, 3]]).cuda(), 'position_ids': torch.LongTensor([[0, 1,...

Meet a problem, in the file SuperYOLO/utils/datasets.py, where the function def img2label_paths(img_paths): def img2label_paths(img_paths): sa, sb = os.sep + 'images' + os.sep, os.sep + 'labels' + os.sep # /images/, /labels/...

> train: ./dataset/VEDAI/fold01_write.txt test: ./dataset/VEDAI/fold01test_write.txt val: ./dataset/VEDAI/fold01test_write.txt 配置文件这样 最后会报错找不到label文件 为什莫 就是根据你的代码来的啊 AssertionError: train: No labels in dataset\VEDAI_1024\images.cache. Can not train without labels. debug后发现，其中会有路径加载错误。你自己调试下就知道。