FastGPT
FastGPT copied to clipboard
文本内容提取无法正常工作,报错Your model may not support tool_call SyntaxError: JSON5: invalid end of input at 1:1
例行检查
- [ ] 我已确认目前没有类似 issue
- [ ] 我已完整查看过项目 README,以及项目文档
- [ ] 我使用了自己的 key,并确认我的 key 是可正常使用的
- [ ] 我理解并愿意跟进此 issue,协助测试和提供反馈
- [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭
你的版本
- [ ] 公有云版本
- [ ] 私有部署版本, 具体版本号: 4.9.10
问题描述, 日志截图,配置文件等
文本内容提取节点无法正常工作,4.9.7以前工作OK,后续版本包括4.9.9,4.9.10报错
复现步骤 1.简单工作流,拖个文本内容提取节点,弄个例子即可。模型用国产的qwen系列。如果将模型的stream设为false,全局关闭,则能够正常提取输出。怀疑是强制为流输出模式后,代码中的JSON5解析有报错导致的,不能够兼容,不清楚模型用chatgpt是否能够正常工作,业务中都跑国产模型,VLLM部署。
预期结果 正常输出提取结果 相关截图
是 vllm 不太兼容,会有多余或少输出,但是我们部署了一个 qwen 14b 和 32b 也是正常的,还需要更多测试。
vllm发布了0.9.0后,升级了vllm,现在能和fastgpt最新版适配了,文本内容提取不报错了。vllm0.9.0以前的版本都不能适配