FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

bge-reranker-large 打分问题

Open levin8023 opened this issue 1 year ago • 1 comments

部署方案1:image 代码:FlagEmbedding-FlagReranker(model_name, use_fp16=True).compute_score()

部署方案2:image 使用text-embeddings-inference:cpu-1.0部署

决定使用方案1是因为text-embeddings-inference:cpu-1.0调用太慢了,通常需要10多秒

请问一下为什么两者分数差这么多,另外也测试了SentenceTransformer-CrossEncoder和方案2几乎没差

levin8023 avatar Feb 28 '24 09:02 levin8023

text-embeddings-inference和SentenceTransformer应该是接了一个sigmoid层,将分数映射到了0-1之间。由于是一个单调函数,分数的大小关系没变,实际重排效果是一致的。

staoxiao avatar Feb 28 '24 12:02 staoxiao