FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

关于bge-reranker-large,文本长度的问题

Open ryangsun opened this issue 2 years ago • 6 comments

score = reranker.compute_score(['query', 'passage']) print(score)

上面的query和passage,能够有效支持的文本长度有没有限制?如果有限制,是多少?如果超过长度,模型会如何处理?

ryangsun avatar Jan 03 '24 05:01 ryangsun

有限制,超过512个token后会被截断。

staoxiao avatar Jan 03 '24 09:01 staoxiao

有限制,超过512个token后会被截断。

目前有类似bge-m3 超过512的rerank model吗

levin8023 avatar Feb 27 '24 06:02 levin8023

有限制,超过512个token后会被截断。

目前有类似bge-m3 超过512的rerank model吗

后面会发布一版新的reranker,支持更长文本。

staoxiao avatar Feb 27 '24 10:02 staoxiao

有限制,超过512个token后会被截断。

目前有类似bge-m3 超过512的rerank model吗

后面会发布一版新的reranker,支持更长文本。

期待,能公开个大致时间吗

newfyu avatar Mar 06 '24 02:03 newfyu

有限制,超过512个token后会被截断。

目前有类似bge-m3 超过512的rerank model吗

后面会发布一版新的reranker,支持更长文本。

期待,能公开个大致时间吗

3月中-3月底

staoxiao avatar Mar 06 '24 08:03 staoxiao

有限制,超过512个token后会被截断。

目前有类似bge-m3 超过512的rerank model吗

后面会发布一版新的reranker,支持更长文本。

期待,能公开个大致时间吗

昨天发布啦!

levin8023 avatar Mar 19 '24 10:03 levin8023