最新版本（2023年7月31日）中，Output参数似乎失效了

[ysyx2008]

不管改成多少，都只输出很短一节内容，如图所示。

使用4卡部署，启动参数为：python run_demo.py --model-path "/home/dl/data/codegeex2-6b-model" --n-gpus 4

[ysyx2008]

经测试，单卡非量化模式运行也是一样的问题。

[ysyx2008]

硬件环境：Tesla T4 16G * 4

[Stanislas0]

不管改成多少，都只输出很短一节内容，如图所示。

使用4卡部署，启动参数为：python run_demo.py --model-path "/home/dl/data/codegeex2-6b-model" --n-gpus 4

Tesla T4不支持BF16，是否启用了.half()？

[ysyx2008]

不管改成多少，都只输出很短一节内容，如图所示。 使用4卡部署，启动参数为：python run_demo.py --model-path "/home/dl/data/codegeex2-6b-model" --n-gpus 4

Tesla T4不支持BF16，是否启用了.half()？

查看源代码，未启用.half()：

刚刚使用int4权重文件，似乎可以正常输出。启动参数如下： python gyzq_demo.py --model-path "THUDM/codegeex2-6b-int4" --n-gpus 4

难道是权重文件的问题？用git ssh方式下载的，不应该有损坏才对。加载过程也无报错。

[ysyx2008]

确认使用int4量化后的权重文件可以正确输出：

[ivankxt]

hi，我从https://huggingface.co/THUDM/codegeex2-6b-int4/tree/main下载的codegeex2-6b-int4；然后在V100 GPU机器上加载模型，输出结果完全不对，请问这是什么原因？Stanislas0

[xd-Nanan]

hi，我从https://huggingface.co/THUDM/codegeex2-6b-int4/tree/main下载的codegeex2-6b-int4；然后在V100 GPU机器上加载模型，输出结果完全不对，请问这是什么原因？Stanislas0

我的测试也频繁出现此问题，而且无法控制输出，请问有解决嘛？