InferLLM
InferLLM copied to clipboard
arm 平台输出乱码
我们测试没有发现这个现象,可以给一下复现的方法
我在安卓用chroot容器试了下chatglm2-q4乱码,chatglm-q4正常
我在安卓用chroot容器试了下chatglm2-q4乱码,chatglm-q4正常
可能需要指定decoder类型, 在Ubuntu 22.04 + X 64环境下测试发现ChatGLM-2-q4需要在运行指令后额外加上 “-v 2” 才能正常输出中文。
不含 “-v 2” 参数的输出:
包含了该参数的输出: