加载本地训练模型

[2499048212]

您好，我想使用您的框架测试本地模型和本地数据集，但是当我修改config.py中的模型路径后，框架还是会尝试从huggingface下载模型，我该怎么修改才能使用本地模型呢？

[junming-yang]

config.py 中 model_path 对应 transformers 库 AutoModel.from_pretrained(model_path) 的方法， model_path 可以是 repo_id 或本地文件夹地址，可以参照 transformers 从本地加载模型的方式进行设置。

[2499048212]

感谢回复，但是当我进行实验时，出现了另外的问题：模型不能返回文字，返回了无意义的向量，请问这是什么问题？

[junming-yang]

这是使用你自定义的vlm进行推理吗，请检查下generate_inner函数的返回值，如果异常应该是vlm内部的返回有问题

[2499048212]

generate_inner函数返回的内容也是这样的元素，这是因为我的模型导致的吗？但是我的模型是从官方下载的千问VL，应该不会出现问题吧

[junming-yang]

应该是模型导致的，如果是我们已经支持的模型，请提供具体的运行命令及模型名称；如果是自定义的模型，请检查模型。