CaicaiJason

Results 4 issues of CaicaiJason

有没有batch推理的实现呢?

有支持多轮对话finetune的实现吗?

![image](https://github.com/THUDM/VisualGLM-6B/assets/27617518/05d0879e-ca88-4bcd-ad0b-658d9a26dd0b) FewShotDataset在init中一次性把所有数据都读进去,亲测8卡V100只能3w左右的数据,有没有支持更多数据微调的方案呢?

可以提供一个infer的脚本吗?非gradio demo的那种