LongAlign icon indicating copy to clipboard operation
LongAlign copied to clipboard

[BUG] 使用Langchain-Chatchat框架加载chatglm3-6-b-128k出现自问自答,停不下来的情况

Open nmbtwzt opened this issue 1 year ago • 1 comments

问题描述 / Problem Description 使用chatglm-6-b-128k出现自问自答,停不下来的情况

微信图片_20240313110149

复现问题的步骤 / Steps to Reproduce 1.使用chatglm3-6b-128k 2.无论问答什么内容,都会出现自问自答情况。

预期的结果 / Expected Result 回答完毕后停止。

实际结果 / Actual Result 回答当前问题后,不停自问自答,无法停止。

环境信息 / Environment Information

  • langchain-ChatGLM 版本/commit 号:v0.2.10
  • 是否使用 Docker 部署(是/否):否
  • 使用的模型(ChatGLM2-6B / Qwen-7B 等):ChatGLM3-6B-128k
  • 使用的 Embedding 模型(moka-ai/m3e-base 等):m3e-base
  • 使用的向量库类型 (faiss / milvus / pg_vector 等): faiss
  • 操作系统及版本 / Operating system and version: linux
  • Python 版本 / Python version: 3.11
  • 其他相关环境信息 / Other relevant environment information:

附加信息 / Additional Information 想通过添加repetition_penalty来解决,但是未找到参数修改位置,希望可以指明。

nmbtwzt avatar Mar 14 '24 08:03 nmbtwzt

这主要是因为Langchain-chatchat没有适配,chatglm3-6b-128k使用<|user|>作为结束符而不是普通的eos,可以参考这里的代码,为生成过程添加额外的结束符即可,或者直接使用chatglm的chat函数接口。

davidlvxin avatar Mar 14 '24 08:03 davidlvxin