TaoXiong
TaoXiong
> BTW, we evaluate our model with VLMEvalkit, you can refer to [the evaluation code](https://github.com/open-compass/VLMEvalKit/blob/main/vlmeval/vlm/internvl/internvl_chat.py#L108) for how to use VisualPRM to select the best response. Hello, thank you for your...
> No, you can use the default strategy to reproduce our results. Thank you for your timely reply. I will try to reproduce the results of the BoN experiments. And...
> No, you can use the default strategy to reproduce our results. 我在复现[VisualPRM](https://internvl.github.io/blog/2025-03-13-[VisualPRM](https://internvl.github.io/blog/2025-03-13-VisualPRM/)/)，具作者汇报是使用[VLMEvalKit](https://github.com/open-compass/VLMEvalKit)项目做的inference和eval，但是我在实际测试中遇到问题。 我的设备如下：6卡A100 / 40GB；dataset：MMLU_DEV ### 1.使用CUDA_VISIBLE_DEVICES=0,1,2,3,4,5 torchrun --nproc-per-node=6 每张卡实例化一个模型做测试，40GB模型在实例化两个模型（InternVL2_5-8B-BoN-8： InternVL2_5-8B/ VisualPRM-8B-v1_1）后总会在一张卡运行一半报错OOM，导致其余的卡无法完成后合并，直到等待超时。 ### 2.使用CUDA_VISIBLE_DEVICES=0,1,2,3,4,5 torchrun --nproc-per-node=3 每2张卡实例化一个模型做测试，报错： ``` Traceback...
> 试试去掉 `--chat-template-content-format openai`？ 我起初是没有这个参数的，报错是一样的，然后它报错提示有这个建议，我才添加上的，然后报错还是一样的
> > ValueError: can only concatenate str (not "list") to str > > 一般这个报错就是 string 格式的 chat template 被当成 openai 格式的用了。你用的 vLLM 版本是多少？ > > > 我起初是没有这个参数的，报错是一样的，然后它报错提示有这个建议，我才添加上的，然后报错还是一样的 > > 能提供一下复现用的...
> > ValueError: can only concatenate str (not "list") to str > > 一般这个报错就是 string 格式的 chat template 被当成 openai 格式的用了。你用的 vLLM 版本是多少？ > > > 我起初是没有这个参数的，报错是一样的，然后它报错提示有这个建议，我才添加上的，然后报错还是一样的 > > 能提供一下复现用的...
> [@YuanDaoze](https://github.com/YuanDaoze) 我试了一下上面的 message，应该是 system prompt 这一 part 出问题了： > > ``` > { > 'role': 'system', > 'content': 'You are good at reasoning and problem solving. You need to...
请问现在有可以测试humaneval的script了吗？
> > > > > 你好，我把当时进行aitz评测的相关代码拆出来，贴在这条[gist](https://gist.github.com/LukeForeverYoung/274a073ca77c9dc46022cb8cc5382223)里，可以参考一下。 > > > > > > > > > > > > 您好，是否也可以release一下Android Control的评测脚本？ > > > > > > > > > https://gist.github.com/LukeForeverYoung/1f5d19495788de0d905c5ac6341153f5...
> 应该是支持的，不过我们并没有针对Windows做过充分测试，部分模块使用可能会有问题。若条件允许，还是推荐您在Linux平台完成实验；若在Windows平台上的使用遇到了问题，也欢迎您随时咨询，我们可以协助您排查、解决问题。 好滴，我尝试一下，谢谢您及时的回复！