finetuning loss

Open ZiboZ opened this issue 2 years ago • 1 comments

在finetune代码中，<|Human|>部分也加入了loss的计算，想请教下这样相比conditioning language modeling loss有什么特别的好处吗？

Jun 29 '23 07:06 ZiboZ

用户输入不应该计算loss，他们的代码有点问题

Aug 01 '23 08:08 metacarbon