XueMoonLit
Results
3
issues of
XueMoonLit
请问可以在其他生成式下游任务上微调吗？比如文本风格迁移
## ❓ Questions and Help ### Before asking: 1. search the issues. 2. search the docs. #### What is your question? #### Code #### What have you tried? #### What's...
question
needs triage
您好，请问在自己数据集上进行微调时是否支持fp16混合精度训练？ 我尝试用fairseq框架搭建t5_pegasus模型，并且用apex库进行混合精度微调。然而相较于fp32，loss下降很慢，而且在训练初期会有loss大幅抖动的情况，fp16和fp32使用一样的参数，包括batch size和学习率。