RuipingWang1986
Results
2
issues of
RuipingWang1986
您好，根据您的指导，我目前已经可以跑通finetune_cosmopedia脚本的训练，但是我发现生成的模型和之前使用的llama2-7B模型规模基本是相同的，并没有增大；另外，按照您论文里提到的，应该是可以自己设计添加多少层，但我在训练脚本中也没有发现。
您好，目前我正在用finetune_cosmopedia.sh进行继续预训练，用HuggingFaceTB上的数据集可以实现继续预训练，但是我目前想要使用自己的数据集，我的数据集格式是txt，我想知道有没有办法将我们自己的数据转变成可以用于继续预训练的方法，或者有没有类似的工具呢，谢谢。