Yadong Li
Yadong Li
@Yixan it seems that you have opened the default port before and haven't close it. Try to start a service with a new port number.
> pip install PyYAML==5.3.1 !pip install tqdm==4.53.0 !pip install pandas==1.1.4 !pip install keras==2.2.4 !pip install keras-bert==0.68.1 !pip install cn2an==0.5.5 !pip install Keras-Applications==1.0.8 !pip install keras-bert==0.68.1 !pip install keras-embed-sim==0.8.0 !pip install...
我在试验belle开源的中文数据集的时候，也遇到了这个问题
期待开源
能否理解为，p-tuning后的模型（即加载了prefix权重），只能在p-tuning训练的领域上表现好？
我觉得让prompt独特一些比较可行。在使用的时候，可以封装一下用户的提问，这样用户可以无感。
Thanks a lot for this great feature! I tried it with the latest caoshiyi:prefix, but I found that there's no speed improvement. (one V100 GPU, tested with Baichuan2-13B-chat model) Hi...
I'm also interested in this. glad if someone could help to answer
谢谢！操作的步骤大概明白了，但还是对其中的原理不太理解。 我还是认为“LLAMA训练得到的Lora只属于LLAMA”，因为这里得到的Lora参数是基于LLAMA模型的参数进行微调得到的，即Lora参数是相对于LLAMA模型原始参数的一个相对值。 例如，原始的一次前向传播为： $h=W_0x$ 加入Lora后为： $h = W_0x + \Delta Wx$ $\Delta Wx$这一部分即为lora的参数，为什么基于LLAMA模型原始参数训练得到的lora参数也可以用于其他模型呢？