[Question] evaling stage: 直接修改janus_sft.sh的命令行参数即可进行eval吗？

[125jx]

Required prerequisites

• [x] I have read the documentation https://align-anything.readthedocs.io.
• [x] I have searched the Issue Tracker and Discussions that this hasn't already been reported. (+1 or comment there if it has.)
• [ ] Consider asking first in a Discussion.

Questions

我想使用GQA对janus进行评估，直接修改janus_sft.sh的命令行参数即可进行eval吗？

[htlou]

很抱歉，由于Janus和Chameleon等模型的特殊性，无法直接在align-anything框架内进行Janus类型模型的evaluation。不过你可以使用htlou/Align_Anything_Janus/inference.py和htlou/Align_Anything_Janus/generation_inference.py分别进行图文输入（文本输出）和图片输出（文本输入）模态的evaluation。

[125jx]

很抱歉，由于Janus和Chameleon等模型的特殊性，无法直接在align-anything框架内进行Janus类型模型的evaluation。不过你可以使用htlou/Align_Anything_Janus/inference.py和htlou/Align_Anything_Janus/generation_inference.py分别进行图文输入（文本输出）和图片输出（文本输入）模态的evaluation。

我观察到了本仓库有一eval_anything的分支，是否可以进行evaluation呢？

[htlou]

我观察到了本仓库有一eval_anything的分支，是否可以进行evaluation呢？

感谢您对align anything的深入了解！eval anything作为一个独立的全模态评测仓库已经从align anything中解耦，目前的分支只是历史备份，我们并不计划进行全方位的支持与研发。请您暂时先用我先前提供的生成脚本，我们之后会将其集成至eval anything中。