wan i2v-14b-720p蒸馏模型问题

[Rookienovice]

您好，关于i2v-14b模型蒸馏相关问题想请教一下。 1、请问cfg和step蒸馏是同时完成的吗，也就是没有改模型结构来训练一个cfg-embedding，先做cfg再做step蒸馏。还有蒸馏的方案是dmd2吗？ 2、cfg蒸馏时候，选的值默认是5.0吗，还是会在一定范围内随机选值。 3、请问i2v-14b-720p蒸馏时候用到的数据量大概是多少，使用了多少资源训练的？

[GoatWu]

1. 目前的模型是同时完成的。我们也做了一个带有cfg-embedding的方案，可能会在后续发布。蒸馏方案是dmd2。
2. 固定5.0
3. 大约3w+的数据量，48卡H100

[Rookienovice]

1. 目前的模型是同时完成的。我们也做了一个带有cfg-embedding的方案，可能会在后续发布。蒸馏方案是dmd2。
2. 固定5.0
3. 大约3w+的数据量，48卡H100

谢谢您的解答，还有几个问题想请教下， 1.cfg-embedding模型训练时候，是全参微调的吗（如果数据量比较少的话，用lora会稳定训练些吗），cfg选值的范围大概是多少；以及为什么DMD的方案用到flow matching模型的时候，可以将预测的x0作为score。 2.我看到您在causvid-plus的reademe中说蒸馏数据来源于mixkit数据集，请问i2v-720p蒸馏模型的3w数据是有其他来源吗，还是用wan2.1的t2v或者i2v模型生成的。

[Dawgmastah]

Was the model removed? Wan2.1-I2V-14B-720P-StepDistill-CfgDistill-Lightx2v

I see the link as blank

[thbupt]

Was the model removed? Wan2.1-I2V-14B-720P-StepDistill-CfgDistill-Lightx2v

I see the link as blank

same question