Dongyang Li

Appendix file

1

Hi, Where to download your appendix file?

Code and training issues

11

https://github.com/hubert0527/infinityGAN/blob/86e4715cbea2cc0940954bf646d3957454d4e5ed/train.py#L365-L366 1. Is this a mistake in L365-L366? 2. NAN in my training. logs: **WARNING:root:NaN or Inf found in input tensor. [*] EXP: InfinityGAN; d: nan; g: 2.42; r1: 0.01;...

Hi, Can you open the code that constructs the dataset?

Image guided diffusion models

1

### Model/Dataset/Scheduler description 如何训练一个Image guided diffusion model,针对super resolution, image enhancement等任务？ ### Open source status - [ ] The model implementation is available - [ ] The model weights are available....

How to visualize the attention map?

2

Hi, I use command 'pip3 install natten -f https://shi-labs.com/natten/wheels/cu116/torch1.12.1/index.html' to install the wheel. But, I don't know how to visualize the attention map of NeighborhoodAttention2D. Could you help me?

生成的图片为什么什么出现红色、蓝色的点？batch 内随机采样导致的？

8


【求助】我推理出来的结果好像不太对

4

我使用的是你推荐的测试命令： python inference.py --ckpt ckpts/caphuman.ckpt --vae_ckpt ckpts/vae-ft-mse-840000-ema-pruned.ckpt --model models/cldm_v15.yaml --sd_ckpt ckpts/Realistic_Vision_V3.0.ckpt --input_image examples/input_images/196251.png --pose_image examples/pose_images/pose1.png --prompt "a photo of a man wearing a suit in front of Space Needle" 我的结果：input_image...

不能使用Juggernaut-XL-v8和Juggernaut-X-v10？我用这两个模型出来的结果完全不对，而其他模型都是对的。

1

这是我的结果：  红色框里面 是对应的prompt。感觉毫不相关。。我用Juggernaut-X-v10，打了个简单的T2I gradio，是完全没问题的： 说明我的权重是对的。下面是我的gradio代码。（然而，在StoryDiffusion 链路中，这两个模型生成图像都不对呢？） `from diffusers import StableDiffusionXLPipeline import torch from gradio import Interface, Image, Dropdown, Slider import gradio as gr import spaces model_id = "pretrained_models/RunDiffusion/Juggernaut-X-v10" pipe...

MOFA-Video-Traj graio demo出错

8

作者好，已经把所有模型下载完毕，但是启动gradio的时候，出现 missing keys的问题：  另外，当我上传图片后，开始选择轨迹起点时候，会报错：