warlockedward
warlockedward
Ran into the same problem, additionally ran 235B-22B and found it didn't work properly
> 使用提示词让模型输出《think》，但是为什么有时侯没有思考过程的输出，只有回复的答案。 由于看不到模型返回的具体信息，不确定是模型没有输出《think》内容，还是代码中处理掉了 这个可否优化下方便跟踪或排错 自己写一个parser去处理reasoning_content最好，匹配，然后根据可能的集中情况去做相应处理。在deepseek-r1中有提示过，是完整的推理，但也会出现有think无/think和无think但有\think的情况
> The FastAPI interface's image recognition is very very inaccurate！！！！！, and it cannot replace images in their original positions in a PDF document with Markdown image format. Can this issue...
Hopefully, the function_call and tool_choice features will be implemented faster and will additionally support models like Qwen2
> 要被折磨死了，也不知道是不是oneapi的坑，能不能把语音模型的base url专门配置url啊，就和rerank模型一样 加个 "requestUrl":，"requestAuth": 然后自己选走不走oneapi ，不走oneapi直接走url问题也好排查 +1
遇到同样的问题，关闭tool call使用Prompt就没问题，但只要开启就会导致response_empty。如果不走定时任务，手动触发不管在开启还是关闭Tool call都没任何问题
Will the V1 version continue to support older GPU models such as V100, T4, etc.?
> > self.think_end_token = "answer" > > It could be buggy if the generated text includes this word but it isn’t intended for end-of-thinking purposes. > > e.g. `Can you...
已经知道如何处理了，在config={}添加参数即可