多轮对话数据预处理问题

Open xudongguan202 opened this issue 1 year ago • 1 comments

感激各位对Swift开发和维护，这是一个非常好用的项目！想请教一个关于多轮数据在训练时的问题。

在训练多轮对话的数据时，需要将一个多轮对话拆成多条递进的对话数据吗？Swift是否会将多轮对话的中的每一条assistant发话都进行loss回传？如果不，将数据拆分是否会带来性能的提升？

比如在训练一条3轮对话，需要将数据拆解成 turn1, turn1,2, turn1,2,3 ... 吗？

Apr 17 '24 06:04 xudongguan202

不需要的，会对每个assistant都进行损失计算

Apr 20 '24 11:04 Jintao-Huang

不需要的，会对每个assistant都进行损失计算

感谢回答

Aug 28 '24 07:08 fly-dragon211