finetune_cosmopedia.sh如何训练出来8B模型

Open RuipingWang1986 opened this issue 1 year ago • 1 comments

您好，根据您的指导，我目前已经可以跑通finetune_cosmopedia脚本的训练，但是我发现生成的模型和之前使用的llama2-7B模型规模基本是相同的，并没有增大；另外，按照您论文里提到的，应该是可以自己设计添加多少层，但我在训练脚本中也没有发现。

May 20 '24 10:05 RuipingWang1986

我也是同样的问题，请问扩展参数的那部分代码是还没有放出来吗

Oct 29 '24 09:10 season1blue