eval-scope icon indicating copy to clipboard operation
eval-scope copied to clipboard

embedding和rerank模型性能压测支持

Open hao-cold opened this issue 7 months ago • 2 comments

请问当前支持embedding和rerank模型性能压测吗?/v1/embedding和/v1/rerank接口,如何使用?我看文档当前只支持这两个URL:--url 指定API地址,支持/chat/completion和/completion两种endpoint。

hao-cold avatar Jun 16 '25 07:06 hao-cold

不支持embedding和rerank模型性能压测

Yunnglin avatar Jun 16 '25 08:06 Yunnglin

Image 如何修改已经下好的数据集,替换路径名称,由对应的字段吗?我看自定义数据是这样的 "eval": { "tasks": ["CustomRetrieval"], "dataset_path": "custom_eval/text/retrieval", "verbosity": 2, "overwrite_results": True, "limits": 500, }, 但是我加入了dataset_path 把原有下载的数据去掉,还是不行

lyc1995452 avatar Jun 26 '25 13:06 lyc1995452