LKAMING

Hello, I just looked at the code, and I found out why "fuse_conv_bn" is not needed in the "evaluation command", but it is used when measuring the latency. Will there...

> > webrtc跟客户端网络有关。用rtcpush模式 > > 请问，自己在autodl上面搭建，需要开放50000-60000端口吗，云服务貌似不让开放，也是视频出不来。  你好，我也遇到你这个问题了，请问你后续如何解决的呢

> > > > webrtc跟客户端网络有关。用rtcpush模式 > > > > > > > > > 请问，自己在autodl上面搭建，需要开放50000-60000端口吗，云服务貌似不让开放，也是视频出不来。  > > > > > > 你好，我也遇到你这个问题了，请问你后续如何解决的呢 > > 搞了一个最便宜的阿里云，装了一个srs 可以加联系方式交流一下吗，这个东西部署了一天，什么东西都没出来

{ "0": { "origin_prompt": [ { "role": "HUMAN", "prompt": "根据下列事实、罪名和刑法法条预测判决刑期。只需给出判决刑期为多少月，请将答案填在[刑期]与之间。例如[刑期]12月。\n事实:公诉机关指控：2016年3月28日20时许，被告人颜某在本市洪山区马湖新村足球场马路边捡拾到被害人谢某的VIVOX5手机一部，并在同年3月28日21时起，分多次通过支付宝小额免密支付功能，秘密盗走被害人谢某支付宝内人民币3723元。案发后，被告人颜某家属已赔偿被害人全部损失，并取得谅解。公诉机关认为被告人颜某具有退赃、取得谅解、自愿认罪等处罚情节，建议判处被告人颜某一年以下××、××或者××，并处罚金。\r\n罪名:盗窃。法条:刑法第264条。法条内容：第二百六十四条 盗窃公私财物，数额较大的，或者多次盗窃、入户盗窃、携带凶器盗窃、扒窃的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。\n" } ], "prediction": "\n[刑期]6月\n[刑期]6月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期]6个月\n[刑期", "gold": "刑期:4个月" }, }

然后我将该文件下的模型路径改为本地是吗 发自我的iPhone ------------------ 原始邮件 ------------------ 发件人: bittersweet1999 ***@***.***> 发送时间: 2024年9月2日 16:17 收件人: open-compass/opencompass ***@***.***> 抄送: LKAMING ***@***.***>, Author ***@***.***> 主题: Re: [open-compass/opencompass] [Bug] 使用最新版本的glm4-9b-chat在Lawbench上推理会重复生成 (Issue #1477) 看起来像是没传stop words和max out len，https://github.com/open-compass/opencompass/blob/9693be46b7070ddd8e5e25dc71dec126bdbae8b2/configs/models/chatglm/hf_glm4_9b_chat.py#L11。...

> yes 那我其他参数需要修改吗，因为我想用vllm进行推理

目前shell脚本修改为 ```shell CUDA_VISIBLE_DEVICES=0,1,2,3 python run.py --models hf_glm4_9b_chat --datasets lawbench_zero_shot_gen_002588 -w ./outputs/$model_name --hf-num-gpus 4 --mode all -a vllm ``` model文件修改为 ```python from opencompass.models import HuggingFacewithChatTemplate models = [ dict( type=HuggingFacewithChatTemplate, abbr='glm-4-9b-chat-hf',...

> 其他模型会吗？或者GLM4测其他数据集会重复吗 测试了qwen2,chatglm3,yi1.5都不会，以下是chatglm3的回答 

> 正常来说`-a vllm`应该是可以的，或者你试试这个config https://github.com/open-compass/opencompass/blob/main/configs/models/chatglm/vllm_glm4_9b_chat.py 就是换成`--model vllm_glm4_9b_chat`看看 same results,我不知道是不是模型那里有问题，我更新了一次还是会这样

> 按理说用`-a vllm`,stop_words也传进去了呀 > > https://github.com/open-compass/opencompass/blob/9693be46b7070ddd8e5e25dc71dec126bdbae8b2/opencompass/utils/run.py#L309 你们那边可以用这个模型测试一下吗