mushenL

Results 17 comments of mushenL

您好,从您的报错信息上来看,应该是是您这边没有在环境变量上设置相应的api_token,您可以设置MODELSCOPE_API_TOKEN这个环境变量,关于每个tool中所使用的api_token在readme.md上都有说明,您可以参考,至于您说的本地调用tool,您可以参考本地部署模型服务的方式,将tool所使用的模型在您本地部署成服务,然后将配置文件里面的url改为您的服务接口即可,如果您需要本地直接加载,modelscope_agent/tools/modelscope_tools/pipeline_tool.py 上有开放_local_call接口函数,但是需要您自己适配tool模型

暂时不支持,可能需要您参考 modelscope_agent/tools/modelscope_tools/pipeline_tool.py 相关的call函数自行适配

@zzhangpurdue 您好,关于本地部署modelscope llm的方案,建议您参考[docs/local_deploy.md](https://github.com/modelscope/modelscope-agent/blob/master/docs/local_deploy.md)这个文档来进行部署,这个使用的是modelscope_agent/llm/openai.py进行构建的,modelscope_agent/llm/modelscope.py属于较早版本内容,近期没有维护计划,建议参考文档使用agent的最新的本地部署方案

您好,新版本暂时没有适配modelscope的model_serve,所以按照直接使用本地模型路径的话会有报错,现阶段推荐使用demo中所用的远程模型调用,如果本地部署的话建议使用https://github.com/modelscope/modelscope-agent/blob/master/docs/local_deploy.md文档所描述的部署方案进行部署,

![image](https://github.com/modelscope/modelscope-agent/assets/125954878/b7ae2a84-88a1-4114-95d6-02503477cab7) 您好,我这边看是文档是存在的,可以检查一下分支是否正确 https://github.com/modelscope/modelscope-agent/blob/master/docs/local_deploy.md

本地模型调用现在只支持通过部署服务的方式,直接加载本地模型由于缺点很多,后期没有特殊需求不会支持了

您好,可以提供一下您使用的模型以及代码吗?您可以先使用release/0.3.0分支的apps/agentfabric的方式构建,近期我们会发布新版本来优化已知的问题

您好,有相关的镜像可以尝试拉取下面这个镜像 registry.cn-hangzhou.aliyuncs.com/modelscope/modelscope-agent:v0.3.0 或者使用modelscope的官方镜像也是可以的

您好,方便提供一下您使用的代码版本,以及您是在什么情况下出现这个错误的,方便提供一下复现条件吗?

您好,最近modelscope-agent更新了版本,建议使用最新版本,关于本地部署的问题,可以参考这个下面这个关于无外网环境部署的方案 https://github.com/modelscope/modelscope-agent/pull/307/files