CogVideo icon indicating copy to clipboard operation
CogVideo copied to clipboard

CogVideo是可以使用图片训练的,请问如何使用图片进行训练

Open schhaohao opened this issue 1 year ago • 3 comments

System Info / 系統信息

image 文中指出使用图片和视频进行联合训练,那么如何使用图片进行训练,需要修改脚本我哪些地方,我想使用图片进行训练

Information / 问题信息

  • [X] The official example scripts / 官方的示例脚本
  • [ ] My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

1

Expected behavior / 期待表现

期待给出一个详细的解释

schhaohao avatar Sep 18 '24 04:09 schhaohao

教程还没写完,预计这一周写完

zRzRzRzRzRzRzR avatar Sep 18 '24 06:09 zRzRzRzRzRzRzR

图片当做1帧的视频训,需要自己改下dataset的逻辑,混训比较简单的方法是单个batch内只有图片或视频

yzy-thu avatar Sep 18 '24 07:09 yzy-thu

图片当做1帧的视频训,需要自己改下dataset的逻辑,混训比较简单的方法是单个batch内只有图片或视频

当作一帧训出来的生成的视频都是静止的了,所以还是有gap,请问什么时候可以出一个readme和图片训练的脚本

schhaohao avatar Sep 19 '24 02:09 schhaohao

教程还没写完,预计这一周写完

这部分有什么进展吗?

culeao avatar Sep 25 '24 02:09 culeao

你是说I2V微调吗,I2V微调sat是有的,diffusers预计国庆节结束

zRzRzRzRzRzRzR avatar Sep 27 '24 11:09 zRzRzRzRzRzRzR