开源之夏：MegEngine 补充跨模态模型的实现——VQGAN

[Asthestarsfalll]

参考实现：taming-transformers

• [x] diffusion modules、Encoder、Decoder编写
• [x] diffusion modules、Encoder、Decoder对齐
• [x] diffusion modules、Encoder、Decoder权重转换脚本
• [x] VectorQuantizer编写
• [x] VectorQuantizer对齐
• [x] gumbel_softmax编写
• [x] gumbel_softmax对齐
• [x] GumbelQuantize编写
• [x] GumbelQuantize对齐
• [x] VQModel编写
• [x] VQModel对齐
• [x] VQModel预训练权重转换脚本
• [x] GumbelVQ编写
• [x] GumbelVQ对齐
• [x] GumbelVQ预训练权重转换脚本
• [x] VQSegmentationModel
• [x] VQSegmentationModel对齐
• [x] VQSegmentationModel预训练权重转换脚本
• [x] GPT编写
• [x] GPT对齐
• [x] GPT权重转换
• [x] Net2NetTransformer
• [x] Net2NetTransformer对齐
• [x] Net2NetTransformer与训练权重转换脚本
• [x] 图像重建推理结果
• [x] 文档

其他：

• [x] 分割图采样
• [ ] 深度图采样

[Asthestarsfalll]

图像重建结果： 论文结果： 还在对齐中

[Asthestarsfalll]

从分割图采样

采样过程

https://user-images.githubusercontent.com/72954905/192246208-8f1f7472-3389-433a-8114-c4b1225877f7.mp4

最终结果

[Asthestarsfalll]

Unconditional Sample

CelebA-HQ

[Asthestarsfalll]

从深度图采样：

深度图： 采样过程： https://user-images.githubusercontent.com/72954905/198079311-253a101b-52b6-4d40-b305-2b8c8db43011.mp4 采样结果： 深度图： 采样过程： https://user-images.githubusercontent.com/72954905/198079454-02547256-0766-4422-ae86-f632436f25a2.mp4 采样结果：

[Zhiy-Zhang]

LGTM