开源之夏：MegEngine 补充跨模态模型的实现——BigSleep

[Asthestarsfalll]

参考实现 big-sleep

• [x] spectral_norm编写
• [x] spectral_norm对齐
• [x] BigGAN预训练权重转换
• [x] BigGAN前向对齐
• [x] EMA及resample等工具函数编写
• [x] EMA及resample等工具函数对齐
• [x] Latents编写
• [x] Latents对齐
• [x] BigSleep编写
• [x] BigSleep对齐
• [x] Imagine编写
• [x] Imagine对齐
• [x] 训练代码
• [x] 推理结果
• [x] 文档

[Asthestarsfalll]

使用如下测试代码：

dream = Imagine(
    text = "fire in the sky",
    lr = 5e-2,
    save_every = 25,
    save_progress = True,
    image_size=128
)

dream()

图像迭代过程： 整个训练过程花费四小时，后面变化不大，由于最开始生成图像不太好（一只红色的鸟，背景为黑色），最终效果一般，但是可以看到云层的效果。 参考代码效果： 第一张： 中间过程： 后面变化不大，最终效果：

[Zhiy-Zhang]

LGTM