1028686314
1028686314
你好，请问你们的脚本支持多图嘛？我看输入格式是这样的。如果不支持的话，大概的修改思路能否帮忙指点一下呢 (只支持单轮对话, 每轮对话必须包含一张图片, 支持传入本地路径或URL) {"query": "55555", "response": "66666", "images": ["image_path"]} {"query": "eeeee", "response": "fffff", "images": ["image_path"]} {"query": "EEEEE", "response": "FFFFF", "images": ["image_path"]}
你好 我想请问下 如果我想输入尽量多的图片进行微调和推理 需要修改哪些设置呀？是修改max_length参数就够了嘛。如果修改这个参数做sft，会不会影响模型效果呀？ 我现在测试下来最多输入8张图左右，现在想利用视频抽帧数据做sft，8张图有点不太能满足需求。
> > 请问我用的是官方文件来进行lora微调的，想用swift来merge的时候发现merge后的权重和原权重一摸一样，lora权重并没有被merge进去，是什么原因？是一定也要用swift来微调才行吗？ > > 有一个提示是sft_args.json not found 这个文件是swift微调之后生成的文件 你没有的话看起来是不行
> > > > 请问我用的是官方文件来进行lora微调的，想用swift来merge的时候发现merge后的权重和原权重一摸一样，lora权重并没有被merge进去，是什么原因？是一定也要用swift来微调才行吗？ > > > > > > > > > 有一个提示是sft_args.json not found > > > > > > 这个文件是swift微调之后生成的文件 你没有的话看起来是不行 > > 可以麻烦看一下你的sft_args.json文件吗，我试试改一下配置merge试试。因为我看swift是不是不支持图文对话的微调？我如果要改我本来数据集稍微有点麻烦，谢谢！ { "model_type":...
Hello, I also encountered a similar problem, did you solve it?
@lj0919 好的，非常感谢您的回答，我还想请问一下，仿真评测指标这一块有开源代码吗？
我也面临同样的问题，请问是否可以帮忙解答
请问下 vllm怎么批量推理啊