[Question] 关于janus text2image微调

[jxz7110]

Required prerequisites

• [x] I have read the documentation https://align-anything.readthedocs.io.
• [x] I have searched the Issue Tracker and Discussions that this hasn't already been reported. (+1 or comment there if it has.)
• [ ] Consider asking first in a Discussion.

Questions

在微调janus进行text2image任务中，发现只是训练了LLM部分的参数，当我去修改了配置文件yaml中的freeze_mm_proj=flase 和 freeze_vision_tower=false。我们发现还是出现了除了LLM外模型参数没有改变。最后查看代码 发现模型是直接采用了text2text的sft代码。同时在训练代码中，未进行proj和tower的流程。我想问我如果想模型参数同时训练？是我使用的问题还是其他问题。

[htlou]

感谢你的提问！在Janus, Chameleon等使用discrete image tokenizer的模型训练中，我们使用pre-tokenize脚本（如`projects/janus/supservised_tokenize.sh）进行图片输出的预处理，将训练数据提前tokenize后对LLM进行image output的训练，并不直接训练image tokenizer。事实上这也和Chameleon和Janus的原论文保持一致。

如果您在Janus训练过程中遇到其他疑问，欢迎在此issue中继续提问;)

[hl0737]

感谢你的提问！在Janus, Chameleon等使用discrete image tokenizer的模型训练中，我们使用pre-tokenize脚本（如`projects/janus/supservised_tokenize.sh）进行图片输出的预处理，将训练数据提前tokenize后对LLM进行image output的训练，并不直接训练image tokenizer。事实上这也和Chameleon和Janus的原论文保持一致。

如果您在Janus训练过程中遇到其他疑问，欢迎在此issue中继续提问;)

您好，我想请问另一个问题，就是train.json里面的数据可以是纯文本/图文/文生图的混合数据嘛？意思就是一次训练里面可以同时训练理解部分和生成部分，就像原论文里面的训练方式一样，因为我看example是把理解拆成了一个train.json，生成拆成了一个train.json，我不知道是否可以混合起来训~~感谢

[htlou]

很抱歉，目前为止我们暂时不支持在一次训练中同时训练Janus的理解和生成能力，我们将会把这个特性加入未来的更新计划中。

[Studentxll]

感谢你的提问！在Janus, Chameleon等使用discrete image tokenizer的模型训练中，我们使用pre-tokenize脚本（如`projects/janus/supservised_tokenize.sh）进行图片输出的预处理，将训练数据提前tokenize后对LLM进行image output的训练，并不直接训练image tokenizer。事实上这也和Chameleon和Janus的原论文保持一致。

如果您在Janus训练过程中遇到其他疑问，欢迎在此issue中继续提问;)

您好，在训练理解部分时，train.json里面的数据可以是QA和VQA的混合数据嘛,可以的话，请问格式是什么样的呢？谢谢！

[htlou]

可以。

正如 @Gaiejj 在#190的回复中所说，可以使用混合数据，格式可以参照#190中他给出的格式：

您可以参考我们已有的VQA Template: AA_TI2T，在读取数据的时候加入一个if-else的判断，如果item中没有图像，就不要用{image}，例如对于有图像的情形：

[
            {
                'role': 'user',
                'content': [
                    {'type': 'image'},
                    {'type': 'text', 'text': prompt},
                ],
            },
            {'role': 'assistant', 'content': [{'type': 'text', 'text': answer}]},
]

而对于无图像的情形：

[
            {
                'role': 'user',
                'content': [{'type': 'text', 'text': prompt}],
            },
            {'role': 'assistant', 'content': [{'type': 'text', 'text': answer}]},
 ]