Chenzhuang Du

**环境 :** Driver Version: 535.129.03 CUDA Version: 12.2 sat: 0.4.9 (是最新版本的sat) **测试load coglm的速度的代码:** **结果：** torch version：1.13.1+cu117 load model需要的时间：209.14s torch version: 2.1.2+cu121 load model需要的时间：527.55s **另外有一个问题：是否有huggingface的coglm生成图片的script？因为我看到有huggingface的weights了https://huggingface.co/THUDM/CogView2 **

Learning rate and scheduler for stage 1 training.

1

Hi, @thuanz123 Thank you for reproducing and open-sourcing ViT-VQGAN using PyTorch. I would like to inquire, is the learning rate fixed at 4.5e-6 during stage 1 training in your code?...

Hi, @lucidrains , I would like to inquire whether the VQGAN that you implement in this repo can compress a 256 * 256 image to 16 * 16 while maintaining...

麻烦问一下，qwen 1.8B用的是chat版本的还是非chat版本的？

3

如题

训练的问题

1

1. --model_name_or_path 这里应该是指定qwen 1.8B的path是吧？而不是vary-toy模型的path。。。 2. 似乎训练代码里好像没加载sam自己的weights哈？我看vary论文里写的是用SAM预训练的ViTDet backbone。但是这个库里训练的时候似乎没有加载weights呢？我尝试下载sam的ckpt，加载起来也不是很顺利。。 3. Qwen1.8B是用的chat版本，还是非chat版本哈？是用的这个吗？https://huggingface.co/Qwen/Qwen-1_8B