Open-Sora icon indicating copy to clipboard operation
Open-Sora copied to clipboard

使用stage1_feat进行finetune,ckpt推理视频全黑

Open Zane0227 opened this issue 1 year ago • 0 comments

为了降低运行时的显存,计划在finetune时去掉text_encoder模型(实在太大) 发现misc目录下有预处理文本的脚本scripts/misc/extract_feat.py 使用该脚本预处理数据后产出若干个bin文件 但出现下列两个问题:

  1. finetune训练速度变得很快,差不多为原来(直接导出csv文件)的7-8倍
  2. 产出物推理视频全黑

请问应该从哪方面进行排查?运行脚本和进行训练的时候未发现报错

Zane0227 avatar Jun 28 '24 03:06 Zane0227