FastGPT icon indicating copy to clipboard operation
FastGPT copied to clipboard

文本内容提取无法正常工作,报错Your model may not support tool_call SyntaxError: JSON5: invalid end of input at 1:1

Open duskcouple opened this issue 8 months ago • 1 comments

例行检查

  • [ ] 我已确认目前没有类似 issue
  • [ ] 我已完整查看过项目 README,以及项目文档
  • [ ] 我使用了自己的 key,并确认我的 key 是可正常使用的
  • [ ] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本

  • [ ] 公有云版本
  • [ ] 私有部署版本, 具体版本号: 4.9.10

问题描述, 日志截图,配置文件等

文本内容提取节点无法正常工作,4.9.7以前工作OK,后续版本包括4.9.9,4.9.10报错

复现步骤 1.简单工作流,拖个文本内容提取节点,弄个例子即可。模型用国产的qwen系列。如果将模型的stream设为false,全局关闭,则能够正常提取输出。怀疑是强制为流输出模式后,代码中的JSON5解析有报错导致的,不能够兼容,不清楚模型用chatgpt是否能够正常工作,业务中都跑国产模型,VLLM部署。

预期结果 正常输出提取结果 相关截图

Image

Image

Image

duskcouple avatar May 26 '25 15:05 duskcouple

是 vllm 不太兼容,会有多余或少输出,但是我们部署了一个 qwen 14b 和 32b 也是正常的,还需要更多测试。

c121914yu avatar May 27 '25 07:05 c121914yu

vllm发布了0.9.0后,升级了vllm,现在能和fastgpt最新版适配了,文本内容提取不报错了。vllm0.9.0以前的版本都不能适配

duskcouple avatar May 29 '25 06:05 duskcouple