njuptpz

请教预训练的数据集格式是什么？

6

我尝试用了{"input": "问题：xxx答案：", "": "yyy"} 做预训练，但是loss基本上为nan。但是对于微调是正确的，请教正确的预训练格式是什么

Hi, I'm interested in how to use this system to support qwen2. Can you provide some guidance?