EngDoge

> > > > > > No description provided. > > > > > > > > > > > > > > > 请问有解决这个问题么？很奇怪我的第二阶段模型不收敛。我是在sd3尝试的方法，第二阶段我在原有的基础上加入了hypersd，这里从纯噪声开始分4步生成图像。图像生成过程中IDformer和crosstention模块都有梯度，vae解码张量也会保留梯度，后续的arcface特征提取也会有梯度。IDformer和crosstention模块是嵌入在hypersd中的，所以我的id loss会在hypersd分支中用梯度更新IDformer和crosstention模块 > > > >...

> > > 你细读一下论文，Loss为 > > > > > > 我个人实现的时候 ，对于第一项，我使用的是原模型（在我这里是flux），而后两个是带了加速lora的flux。 为什么这样可以训，因为lora对于flux也就是一个额外的组件，梯度是可以正常传到要被训的adapter的两个linear层的 > > > > > > 你好可以请问一下在flux模型做复现训练的时候应该选用什么作为计算alignment loss计算时的K和Q吗，在flux模型中和论文里对应的textual features和"UNet features"好像不是很明确[@xilanhua12138](https://github.com/xilanhua12138) > > 其实很明确，flux 也是分图像模态和语言模态的，所以 Q 应该是图像模态 K...