Elo评测测试数据是否可以公开？

Open FutureForMe opened this issue 2 years ago • 4 comments

作者，你好，想问一下用于评测不同医疗大模型的抽取的测试用例是否可以公开？

Jul 20 '23 08:07 FutureForMe

已公开参见 https://github.com/openmedlab/PULSE/tree/main/eval/data

Jul 22 '23 08:07 genggui001

作者您好，在eval/elo/0elo.py代码提到了两个文件夹：

elo_data_path = "eval/elo/elo_data/"
elo_outputs_path = "eval/elo/gpt4_elo_outputs/"

可以提供这两个目录下面的jsonl文件吗？要不然评测部分代码(eval/elo/0elo.py)没办法运行。

Jul 28 '23 14:07 loxs123

可以说明一下，下面这两个文件的内容格式吗 elo_data_path = "eval/elo/elo_data/" elo_outputs_path = "eval/elo/gpt4_elo_outputs/"

Sep 14 '23 03:09 ZM-ZW

更多elo评测数据集已公开于 https://github.com/openmedlab/PULSE-EVAL

Dec 13 '23 21:12 zhangxiaofan101