bge-reranker-large 和 bge-large的区别

[HuntZhaozq]

请问用在langchain中的知识库embedding，使用bge-reranker-large和bge-large有区别吗？我看bge-large只支持中文或英文，而bge-reranker-large能支持双语，是否能直接将bge-large换成bge-reranker-large，来支持双语知识库。

[staoxiao]

不可行，bge-reranker-large和bge-large的使用方式不一样，bge-reranker-large无法输出向量。 多语言模型我们正在训练中。

[HuntZhaozq]

但是我试了下好像也能用？ @staoxiao

[staoxiao]

可以生产向量，但reranker的embedding没有被训练过，不建议直接用来做检索。

[HuntZhaozq]

那推荐用什么embedding模型好，想要支持双语的 @staoxiao

[staoxiao]

可以使用微软的 intfloat/multilingual-e5-base

[HuntZhaozq]

您好，我看m3e-base的各任务分数好像比multilingual-e5-base高？请问目前m3e-base是不是支持中英最佳开源模型？ @staoxiao

[trillionmonster]

获取 reranker 产生的向量，在外部计算score 如何操作？

[staoxiao]

获取 reranker 产生的向量，在外部计算score 如何操作？

reranker不能用于产生向量，其生成的向量没有实际意义。

[trillionmonster]

获取 reranker 产生的向量，在外部计算score 如何操作？

reranker不能用于产生向量，其生成的向量没有实际意义。

因为openai并没有提供rerank类似的api，要做兼容，所以需要形式上的统一

[trillionmonster]

获取 reranker 产生的向量，在外部计算score 如何操作？

reranker不能用于产生向量，其生成的向量没有实际意义。

因为openai并没有提供rerank类似的api，要做兼容，所以需要形式上的统一

以及gpu与cpu分离部署带来的管理便利，考虑到这两项，需要外部计算rerank分数。