yxdr
Results
1
comments of
yxdr
这个原因应该是这样：虽然在应该停止时模型正确地生成了这个token，但加载的tokenizer的eos_token是，vllm是以这个eos_token_id判断停止的。你可以用这个方法设置正确的停止token_id https://github.com/01-ai/Yi/issues/223#issuecomment-1864015591。