kongxuan

那是否有计划集成 vllm、ollama 相关的能力？ 另外，咱们 vllm +qwen2 +spring ai 能否对接，应该用spring ai 的那个starter 包进行匹配对接？

> 不能，vllm、ollama缺少qwen的function call相关工程代码。 那是否有计划集成 vllm、ollama 相关的能力？ 另外，咱们 vllm +qwen2 +spring ai 能否对接，应该用spring ai 的那个starter 包进行匹配对接？

> > 那是否有计划集成 vllm、ollama 相关的能力？ 另外，咱们 vllm +qwen2 +spring ai 能否对接，应该用spring ai 的那个starter 包进行匹配对接？ > > 那是否有计划集成 vllm、ollama 相关的能力？ ——给不了保证，目前其实是qwen团队+社区在免费拿主业外的时间在支持这些东西，什么时候有给不了保证。 > > spring ai 我不太懂，是个java库？我们团队没有写java的。。 > > 一个可能的方案是：也许某天qwen-agent会提供一个openai api服务（内部调用vllm、ollama），来保证这个openai api服务有function...

> For the first one, it supports Qwen. For the second one, it does not yet support ollama's function call. Which Maven package can I use?

> For this to work we need a qwen/qwen2 model that has been trained for function calling? @tzolov tzolov please see at here https://qwen.readthedocs.io/en/latest/framework/function_call.html