Mudong

How did you train SVD?

i have put the checkpoint [svd.safetensors, svd_image_decoder.safetensors, svd_xt.safetensors, svd_xt_image_decoder.safetensors) into /generative-models/checkpoints

hello, have you got the average accuracy,i met this problem too

> 共有两个阶段：第一阶段我理解它为追踪字幕阶段，在这个阶段速度很快（RTX4090在20f/s左右，rtx3070ti在15f/s左右） 但是在第二个阶段，我理解为清除阶段，就很慢了，3070ti在3s/f，4090在2f/s 在我查看任务管理器并将刷新速度设置为高的时候发现，显卡的利用率曲线并不是平滑的，他是尖锐的，我想这可能是文件加载的问题导致无法持续运算，另外我编辑了一下backend文件夹下的main.py使它可以在运行后无需任何参数输入直接将 /backend/inputVideo/ 这个文件夹下所有视频进行处理，如果作者认为这是有意义的，将您的邮件告知我，我将修改并重命名后的文件发您 @simonNb66 您好，可以分享下文件吗，[email protected]

> > 有没有运行全量微调后加载测试的，我使用官方提供的lora微调的加载测试的会报错 > > Lora finetune后，用官方代码调试，device='auto' 改成自己的device， 比如cpu or gpu（否则报错：‘NotImplementedError: Cannot copy out of meta tensor; no data!’），测试通过，结果正常。 @MonkeyNi 您好，请问用官方代码加载lora，到了msg = model.load_state_dict(vpm_resampler_embedtokens_weight, strict=False)，之后具体怎么进行测试啊

> 参考chat代码就行 from chat import MiniCPMVChat, img2base64 import torch import json torch.manual_seed(0) from peft import AutoPeftModelForCausalLM model = AutoPeftModelForCausalLM.from_pretrained( # path to the output directory path_to_adapter, device_map="auto", trust_remote_code=True ).eval() vpm_resampler_embedtokens_weight...