Squirrel-RIFE icon indicating copy to clipboard operation
Squirrel-RIFE copied to clipboard

或许是一种实现绝对流畅的更优方法(仅任意时刻模型

Open routineLife1 opened this issue 3 years ago • 4 comments

linear_timestep_generate.zip 内含一个template.py模板(内含大体思路) 三种光流Implement(cv2, gmflow, raft) (极其不推荐使用cv2计算光流 gmflow.pth和raft.pth权重文件传不上来,复制gmflow-sintel,raft-sintel就行

routineLife1 avatar Aug 03 '22 16:08 routineLife1

以及通过对cv2,gmflow,raft计算的光流对比发现,cv2的光流可能极其不精确,或许当时用cv2算光流失败的转场识别,可以尝试用AI方法(gmflow,raft等)来做

routineLife1 avatar Aug 03 '22 16:08 routineLife1

注意三种实现代码中以下的几行

    # 计算timestep
    timestep_A = (num_frames_interpolate_A + 1) / 1
    timestep_B = (num_frames_interpolate_B + 1) / 1

应改成

    # 计算timestep
    timestep_A = 1 / (num_frames_interpolate_A + 1)
    timestep_B = 1 / (num_frames_interpolate_B + 1)

num_frames_interpolate_B = merchant + 1 应改为 num_frames_interpolate_B = merchant + 1 if merchant * 2 != num_frames_interpolate else merchant

routineLife1 avatar Aug 04 '22 08:08 routineLife1

这是可直接使用的EISAI复现版本

https://drive.google.com/file/d/1TfB_06wBMbGGzCkR-V4vzvEPfyDK3Ga0/view?usp=sharing

建议在选中绝对流畅后,旁边出现个按钮,“加强流畅度” 来开启这个功能(注释里写可能会增多果冻

routineLife1 avatar Aug 04 '22 13:08 routineLife1

目前发现的问题: 1.此方法对一拍二一拍三交替画面效果较差

routineLife1 avatar Aug 05 '22 17:08 routineLife1

See Implementations at LinearTimestepTest.py

Justin62628 avatar Aug 16 '22 02:08 Justin62628