LexieWei

reranker训练效果不及训练前Baseline

2

你好，我的训练数据量级~10w，我做了以下两组实验： 1. embedding finetune 和 reranker finetune 用同一份数据，前者微调完成后比未微调的通用模型效果好，但后者微调后明显比微调前效果更差 2. 用finetuned embedding model采样难负样本后微调reranker，依旧比微调前效果差 上述两个实验中，reranker收敛正常，评测集上分值也未发现有异常一致的情况，我的reranker微调参数： deepspeed --num_gpus 8 \ --module FlagEmbedding.reranker.run \ --output_dir ...... \ --model_name_or_path ......bge-reranker-base \ --train_data ...... \ --deepspeed...

ReRanker 输入两段文本的顺序问题

2

Hello，我的任务是query to query匹配，推理时一个query为线上真实的问句，另一个query是知识库的相似问句。 我尝试了下发现交换两个query的输入顺序，得到的分值会有略微不同，譬如  得到：  请问在我的任务下，有没有一些先验的经验，应该把哪一类query放在前面呢？

训练过的奖励模型执行 train_bash do_predict 和 api_demo 输出分值的量纲和结论不一致

5

### Reminder - [X] I have read the README and searched the existing issues. ### Reproduction api_demo 部署： `CUDA_VISIBLE_DEVICES=1 python .../LLaMA-Factory/src/api_demo.py \ --stage rm \ --model_name_or_path xxxx/checkpoint-280 \ --template qwen...