csbobo

你好，我使用您的分支编译，使用NVIDIA显卡进行推理，使用模型为glm-4-9b-chat.Q5_K_S.gguf， 能够回答类似：你好；你是谁；写一首诗；这些简短的问题。 但是当提问变长时会出现回复乱码，例如：将以下中文翻译为英文: 生活和天气一样，有晴，有阴，偶尔还会下点雨，自然规律，生活不简单尽量简单过。 以下是执行的日志： .\build\bin\Release\llama-cli.exe -m D:\models\glm-4-9b-chat.Q5_K_S.gguf -p "[gMASK]hi" -t 16 --keep -1 -c 1024 -b 1024 -n -1 -s 123 -ngl 18 --color -i Log start main: build...

我使用glm-4-9b-chat量化q5_1使用GPU推理也碰到同样的问题，但是使用CPU推理正常