eino icon indicating copy to clipboard operation
eino copied to clipboard

如何支持模型的non-thinking模式

Open legolas-zeng opened this issue 3 months ago • 4 comments

比如模型 Qwen3-235B-A22B ,支持think和非think模式,使用vllm,可以加参数 enable_thinking=True 来控制是否使用think,那么eino呢?要怎么配置?

legolas-zeng avatar Nov 12 '25 03:11 legolas-zeng

qwen 模型初始化的config的时候可以配置 EnableThinking 可以试试这个字段

zhuangjie1125 avatar Nov 12 '25 06:11 zhuangjie1125

qwen 模型初始化的config的时候可以配置 EnableThinking 可以试试这个字段

使用 openai.NewChatModel(context.Background(), &openai.ChatModelConfig{})的时候根本就没有EnableThinking字段

Image

legolas-zeng avatar Nov 12 '25 06:11 legolas-zeng

@legolas-zeng 使用 ExtraFields

mrh997 avatar Nov 21 '25 06:11 mrh997

@mrh997 Hello,你指的是这样吗。 ExtraFields: map[string]any{ "EnableThinking": "true" },

dusbot avatar Nov 28 '25 09:11 dusbot

not work for ollama qwen3 @mrh997

		openai.WithExtraFields(map[string]any{
			"enable_thinking": false,
		}),

cruvie avatar Jan 07 '26 07:01 cruvie