FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard
verified publisher icon FlagOpen

请教两个细节问题

Open mechigonft opened this issue 2 years ago • 3 comments

1、用来预训练bge-large-zh-1.5的基座模型是什么？ 2、有什么推荐的，比较好的中文bert类模型，用来替换基座模型预训练，提高在中文领域的embedding和reranker效果？

mechigonft avatar Dec 28 '23 11:12 mechigonft

reranker的基座模型是：xlm-roberta-base，有什么推荐的，比较好的中文bert类模型，用来替换它然后重新预训练reranker模型？

mechigonft avatar Dec 28 '23 11:12 mechigonft

  1. 是https://huggingface.co/hfl/chinese-roberta-wwm-ext-large
  2. 可以试试百度的ernie系列，https://huggingface.co/docs/transformers/model_doc/ernie，

staoxiao avatar Dec 28 '23 15:12 staoxiao

好的，感谢

mechigonft avatar Dec 29 '23 03:12 mechigonft