Zitao
Zitao
同感，关键是我跑里面的很多example都跑不起来...浪费了好多时间 排了好多坑 还是用不顺手...
> > 如题所示，我在想如果使用相同的prompt模板，本地的rag效果应该会更好，谢谢各位大佬们~ > > 感谢关注。 RAG的prompt: single-turn: Human: Hello!\n\nAssistant: multi-turn: Human: Hello!\n\nAssistant: Hi!Human: How are you?\n\nAssistant: I'm fine > > 详见：https://huggingface.co/OrionStarAI/Orion-14B-Chat-RAG/blob/main/generation_utils.py 不好意思哈，我可能没说清楚，我的意思是rag的prompt一般格式是“请根据已知信息{xxx}，回答问题{aaa}，要求答案准确简洁，不允许编造”。 所以我想知道下你们在训RAG的时候使用的具体prompt是什么，这样我们复用起来效果应该会更好，十分感谢！
臣附议，如果再给一个微调Orion-14B-Chat-RAG模型时使用的prompt模板就跟完美了，方便大家使用时对齐~
用with_lora训练，但是我感觉效果一般，可能是我数据集太少了
> 你这个应该是数值精度问题. 全量sft所有参数都被更新, 梯度范围会更大, 如果部分参数的梯度值过大, 容易导致训练不稳定, 可能表现为grad_norm为nan. LoRA仅更新低秩插入的权重参数, 梯度空间受限, 训练稳定. 可以先尝试单精度sft, 没问题再半精度并把梯度裁剪到更小的值, 比如1.0试试. 请问配置文件如何设置grad_norm值呢，说明文档里没找到
> 请问已解决了吗？ [@Chtholly1](https://github.com/Chtholly1) 我这个任务大概率是数据太简单了 直接把模型训崩了，改成float16好像会好一些，但是本质上还是要构造更多样的数据。