eino
eino copied to clipboard
如何支持模型的non-thinking模式
比如模型 Qwen3-235B-A22B ,支持think和非think模式,使用vllm,可以加参数 enable_thinking=True 来控制是否使用think,那么eino呢?要怎么配置?
qwen 模型初始化的config的时候可以配置 EnableThinking 可以试试这个字段
qwen 模型初始化的config的时候可以配置 EnableThinking 可以试试这个字段
使用 openai.NewChatModel(context.Background(), &openai.ChatModelConfig{})的时候根本就没有EnableThinking字段
@legolas-zeng 使用 ExtraFields
@mrh997 Hello,你指的是这样吗。
ExtraFields: map[string]any{ "EnableThinking": "true" },
not work for ollama qwen3 @mrh997
openai.WithExtraFields(map[string]any{
"enable_thinking": false,
}),