chenzk1993
chenzk1993
好的，非常感谢！
感谢回复 参数如下，merge.json是从你提供的3469936万条merge.json随机选了10000条训练的。 parser.add_argument("--data_path", type=str, default="./sample/merge.json") parser.add_argument("--output_path", type=str, default="lora-Vicuna") parser.add_argument("--model_path", type=str, default="decapoda-research/llama-13b-hf") parser.add_argument("--eval_steps", type=int, default=200) parser.add_argument("--save_steps", type=int, default=200) parser.add_argument("--test_size", type=int, default=200) MICRO_BATCH_SIZE = 4 # this could actually be 5 but...
我这边也是10000行，大概3000条数据，这上面的参数就是我设置的参数，没有再从finetune.sh传参。怎么判断数据格式有没有问题?
感谢回复，因为在训练过程中一直没有输出loss的变化，前面loss是否正常也不清楚，只是训练到后面报warning显示学习率为零才知道的。我会试下你说的方法，另外怎么输出训练过程中的loss？
问题已解决，是显卡型号的问题，开始使用的p40，后来换成3090就可以了。
@Facico 模型训练后，生成结果很多都是不完整的，生成的结果并没到最大长度，是什么原因？ 应该怎么调？ 如下面这个结果 '如何选择合适的婚礼\n', '选择合适的婚礼需要考虑婚礼主题、婚礼场所、婚礼时间、婚礼人数、婚礼预算等多个因素。首先，根据婚礼主题选择合适的婚礼场所；其次，根据婚礼人数选择合适的'
> 您好，请问解决了吗，我这样保存也是同样的错误 > > ```python > from tensorflow.python.keras.models import save_model > save_model(model, './model', save_format='tf') > ``` 你在线上推理时并不需要这个模型，你只要把user emb和item emb的模型保存下来就可以了。