Open-Sora
Open-Sora copied to clipboard
使用stage1_feat进行finetune,ckpt推理视频全黑
为了降低运行时的显存,计划在finetune时去掉text_encoder模型(实在太大) 发现misc目录下有预处理文本的脚本scripts/misc/extract_feat.py 使用该脚本预处理数据后产出若干个bin文件 但出现下列两个问题:
- finetune训练速度变得很快,差不多为原来(直接导出csv文件)的7-8倍
- 产出物推理视频全黑
请问应该从哪方面进行排查?运行脚本和进行训练的时候未发现报错