125jx

非常感谢你的回答！ 如果我对整个模型使用LoRA微调，什么样的显卡可以满足JanusPro-7B的微调呢？

当我使用代码进行微调时候，我遇到了下面的问题：  然后我查看了一下，我很好奇这个self.processor为什么选用VLMImageProcessor，而不是选用janus中的VLChatProcessor？因为在SupeviseDataset中的preprocess的过程需要传输给其conversation和image。如果processor是image-processor，那岂不是无法处理conversation？ 

> > 当我使用代码进行微调时候，我遇到了下面的问题： > > 请问你能否提供你使用的数据样例以供我进行复现？这有助于我定位具体是哪个模块的问题。 > > > 然后我查看了一下，我很好奇这个self.processor为什么选用VLMImageProcessor，而不是选用janus中的VLChatProcessor？因为在SupeviseDataset中的preprocess的过程需要传输给其conversation和image。如果processor是image-processor，那岂不是无法处理conversation？ > > by design这里的self.processor应当是VLChatProcessor，你是如何得到VLMImageProcessor的呢？我们复现成功后将会修复这个问题 这里初始化模型的时候加载的就是image-processor，我猜测应该改成text-processor，但是仍然存在一个问题，就是这样的输入（return_dict）如何适应forward过程，我观察到forward的过程中的understanding是直接调用的父类函数，但我没有看到在哪里实现？ 

> 很抱歉，由于Janus和Chameleon等模型的特殊性，无法直接在align-anything框架内进行Janus类型模型的evaluation。不过你可以使用`htlou/Align_Anything_Janus/inference.py`和`htlou/Align_Anything_Janus/generation_inference.py`分别进行图文输入（文本输出）和图片输出（文本输入）模态的evaluation。 我观察到了本仓库有一eval_anything的分支，是否可以进行evaluation呢？

我有同样的问题

> 感谢您的提问！我们正在复现问题，初步判断原因是Janus系列模型的支持实现时间相对较早，在后续框架的版本迭代中疏于维护导致self.model类型错误，我们复现问题后会第一时间进行更正并在issue内update相关信息，感谢海涵！ [https://github.com/htlou/Align_Anything_Janus/blob/main/janus/models/modeling_vlm.py 中新的forward仅关注了generation部分的代码，但是关于understanding仅显示调用父类代码，就会出现问题。

> > > 感谢您的提问！我们正在复现问题，初步判断原因是Janus系列模型的支持实现时间相对较早，在后续框架的版本迭代中疏于维护导致self.model类型错误，我们复现问题后会第一时间进行更正并在issue内update相关信息，感谢海涵！ > > > > > > [https://github.com/htlou/Align_Anything_Janus/blob/main/janus/models/modeling_vlm.py 中新的forward仅关注了generation部分的代码，但是关于understanding仅显示调用父类代码，就会出现问题。 > > 我擦咧，怎么还有这个仓库，宝藏啊，为什么这个里面有个forward方法，我看官方的janus没有，是作者自己撸的么？ 但是我在进行understanding 时候会报错，如果你有新的想法，可以讨论一下

> > > > > 感谢您的提问！我们正在复现问题，初步判断原因是Janus系列模型的支持实现时间相对较早，在后续框架的版本迭代中疏于维护导致self.model类型错误，我们复现问题后会第一时间进行更正并在问题内更新相关信息感谢，海涵！ > > > > > > > > > > > > [https://github.com/htlou/Align_Anything_Janus/blob/main/janus/models/modeling_vlm.py 中新的forward仅关注了代部分的代码，但是关于理解仅显示调用父类代码，就会出现问题。 > > > > > > > > > 我擦擦，怎么还有这个仓库，宝藏啊，为什么这里面有个转发方法，我看官方的janus没有，是作者自己撸的么？...

> 后面我贴上来 感谢，不知道大概什么时间您方便分享呢？

> > > 后面我贴上来 > > > > > > 感谢，不知道大概什么时间您方便分享呢？ > > 目前没定，我还在测试，等测试ok了就放，不然就尴尬了，哈哈 > > > > > 感谢您的提问！我们正在复现问题，初步判断原因是Janus系列模型的支持实现时间相对较早，在后续框架的版本迭代中疏于维护导致self.model类型错误，我们复现问题后会第一时间进行更正并在问题内更新相关信息感谢，海涵！ > > > > > > > > > >...