nieallen
nieallen
可以用标注好的中文情感语料和情感词典，重新做预训练吗？
> 目前的模型训练支持多轮对话，需要在 dataset_info.json 中指定 history 列。 在多轮对话的训练中，目前普遍采用的方式是 > > ``` > q1 + a1 + q2 + a2 + q3 + a3 > [IGNORE] + [IGNORE] + [IGNORE] + [IGNORE]...
> 抱歉，我的说法可能有误，我重新参考了 [Vicuna 的训练代码](https://github.com/lm-sys/FastChat/blob/e365af782e2f99dd674d021087f8ecfa3840adff/fastchat/train/train.py#L77)，这种方式的确能加速模型在多轮对话上的训练，我们考虑在近期实现类似的功能，感谢你的建议！ 期待！我lora微调实验，vicuna那种多轮语料构建方式，效果要好于prompt全遮。不知道qlora会不会有变化，估计也会好一些
还有请问后续可以实现RWKV的lora微调吗？RWKV真的很快，感觉是gpt生成速度的两倍。但它不是纯transformers架构，不能用peft做lora训练，没有实现的脚本现在
可以分享一下您的训练参数吗？
> @nieallen https://huggingface.co/hiyouga/baichuan-7b-sft 哈哈哈，谢谢
> 是的,我也发现这个问题了,所以后来换了斯坦福的微调代码,单块tesla a100 可以微调llama 650亿 [tloen](https://github.com/tloen) / [alpaca-lora](https://github.com/tloen/alpaca-lora) alpaca-lora好用吗
> > 当我把下面这块模型保存代码移入epoch循环， if args.output_dir is not None: print_rank_0('saving the final model ...', args.global_rank)#It will overwrite the last epoch model model = convert_lora_to_linear_layer(model) > > ``` > > if args.global_rank...
> > > 当我把下面这块模型保存代码移入epoch循环， if args.output_dir is not None: print_rank_0('saving the final model ...', args.global_rank)#It will overwrite the last epoch model model = convert_lora_to_linear_layer(model) > > > ``` > >...
请问，如何解决呢？