lm score为什么要去掉special token

[chiosChen]

您好，run_lm_score.py中专门去掉了input ids中的special token，尤其是label中的eos token也被去掉了。我理解的是score就是llm的loss，而eos也是要参与loss计算的，那为什么还要去掉呢？

[namespace-Pt]

你好。score=-loss，加不加eos其实都行，差别不会很大。我们去掉eos是考虑对于base模型，其没有学过生成eos，因此认为将eos纳入loss计算是不正确的。