InferLLM icon indicating copy to clipboard operation
InferLLM copied to clipboard

arm 平台输出乱码

Open tanjatang opened this issue 2 years ago • 3 comments

tanjatang avatar Nov 07 '23 03:11 tanjatang

我们测试没有发现这个现象,可以给一下复现的方法

chenqy4933 avatar Nov 07 '23 08:11 chenqy4933

我在安卓用chroot容器试了下chatglm2-q4乱码,chatglm-q4正常

yu-zify avatar Dec 01 '23 05:12 yu-zify

我在安卓用chroot容器试了下chatglm2-q4乱码,chatglm-q4正常

可能需要指定decoder类型, 在Ubuntu 22.04 + X 64环境下测试发现ChatGLM-2-q4需要在运行指令后额外加上 “-v 2” 才能正常输出中文。

不含 “-v 2” 参数的输出: 图片

包含了该参数的输出: 图片

EigenTom avatar Dec 23 '23 14:12 EigenTom