hangzeli08

TypeError: init_process_group() got multiple values for keyword argument 'backend' 使用torchrun会报这个错，V100，32G，2卡训练，执行finetune.sh 不起来，一直报着个错

3

如果你遇到问题需要我们帮助，你可以从以下角度描述你的信息，以便于我们可以理解或者复现你的错误（学会如何提问不仅是能帮助我们理解你，也是一个自查的过程）： 1、你使用了哪个脚本、使用的什么命令 2、你的参数是什么（脚本参数、命令参数） 3、你是否修改过我们的代码 4、你用的哪个数据集 如果上面都是**保持原样**的，你可以描述“我用的哪个脚本、命令，跑了哪个任务，然后其他参数、数据都和你们一致”，便于我们平行地理解你们的问题。 然后你可以从环境的角度描述你的问题，这些问题我们在readme已经[相关的问题及解决](https://github.com/Facico/Chinese-Vicuna/blob/master/docs/problems.md)可能会有描述： 1、哪个操作系统 2、使用的什么显卡、多少张 3、python的版本 4、python各种库的版本 然后你也可以从运行的角度来描述你的问题： 1、报错信息是什么，是哪个代码的报错（可以将完整的报错信息都发给我们） 2、GPU、CPU是否工作正常 同时你也可以看看issue，或者我们整理的信息里面有没有类似的问题[相关的问题及解决](https://github.com/Facico/Chinese-Vicuna/blob/master/docs/problems.md) 当然这只是个提问说明，你没有必要一一按照里面的内容来提问。

请问现在市面上哪份代码可以直接finetune您这份模型呢～

3

您的意思是是直接使用 https://github.com/tatsu-lab/stanford_alpaca 里面的train.py把基础模型换成您这个就可以finetune了吗～ 目前市面上有哪份代码或项目可以直接指令微调您的代码并取得不错的效果了吗～ 有推荐吗～

单机多卡训练方法

4

正常从单卡变成双卡，step应该 /2，耗时应该/2，但是在我的机器上并没有体现出来，step和时间和单卡的一样，是不是我指定多卡的方法错了，请问作者大哥，正确的应该怎么指定啊。

请问您的ptuning是V1吗，现在支持ptuning V2吗，不知道哪个在生成上好一点。您的几个微调方法lora，adalora，ptuning哪个效果好啊，full-finetuning一把学习率是多少啊～

3

### Describe the Question Please provide a clear and concise description of what the question is. ### Describe your attempts - [ ] I walked through the tutorials - [...

Do you currently support multi image input？

If I want to finetune based on your checkpoint with lora，which one should I use？[mplug-owl-llama-7b-ft] or [mplug-owl-llama-7b] ？

4

What are the detailed differences between Instruction tuning (LoRA) and Instruction tuning (FT) ? If I want to finetune based on your checkpoint with lora，which one should I use？[mplug-owl-llama-7b-ft] or...

May I ask Do you have a training set with multiple graphs 请问有多图训练集吗，目前在市面上，在公开信息上没有找到 多图训练集 或者知道哪里有吗？

If I want to continue fine-tuning on your GPT4RoI weight node, how should you design the parameters for train.sh

1

How can I design WORKDIR and STAGE1WORKDIR if I want to continue fine-tuning on your GPT4RoI weight node,