Chios

lm score为什么要去掉special token

1

您好，run_lm_score.py中专门去掉了input ids中的special token，尤其是label中的eos token也被去掉了。我理解的是score就是llm的loss，而eos也是要参与loss计算的，那为什么还要去掉呢？

如何使用vllm加速bge-reranker-v2-minicpm-28

3

您好，请问是否可以使用vllm来加速bge-reranker-v2-minicpm-28的推理？