lijiaye_fdu

Results 1 comments of lijiaye_fdu

> 感谢你的提问!在Janus, Chameleon等使用discrete image tokenizer的模型训练中,我们使用pre-tokenize脚本(如`projects/janus/supservised_tokenize.sh)进行图片输出的预处理,将训练数据提前tokenize后对LLM进行image output的训练,并不直接训练image tokenizer。事实上这也和Chameleon和Janus的原论文保持一致。 > > 如果您在Janus训练过程中遇到其他疑问,欢迎在此issue中继续提问;) 您好,在训练理解部分时,train.json里面的数据可以是QA和VQA的混合数据嘛,可以的话,请问格式是什么样的呢?谢谢!