eval-scope
eval-scope copied to clipboard
embedding和rerank模型性能压测支持
请问当前支持embedding和rerank模型性能压测吗?/v1/embedding和/v1/rerank接口,如何使用?我看文档当前只支持这两个URL:--url 指定API地址,支持/chat/completion和/completion两种endpoint。
不支持embedding和rerank模型性能压测
如何修改已经下好的数据集,替换路径名称,由对应的字段吗?我看自定义数据是这样的
"eval": { "tasks": ["CustomRetrieval"], "dataset_path": "custom_eval/text/retrieval", "verbosity": 2, "overwrite_results": True, "limits": 500, },
但是我加入了dataset_path 把原有下载的数据去掉,还是不行