LRNet icon indicating copy to clipboard operation
LRNet copied to clipboard

Released FF++ landmark dataset

Open peijenc opened this issue 2 years ago • 7 comments

您好,想請問現在您提供的FF++ landmark dataset是用什麼方法提取的呢? 我在Paper上是看到使用Dlib,在demo跟calibrator資料夾的readme檔中又有看到使用OpenFace, BlazeFace, RetinaFace幾種方法,因此有點不清楚目前最新版本的dataset是以什麼方法做的,希望您能回覆我,感激不盡!

peijenc avatar May 29 '23 07:05 peijenc

现在最新版本的dataset统一都是使用OpenFace提取的基础landmark,然后使用landmark-calibration代码统一处理得到的。

几种方法的区别在于,OpenFace适合批量处理数据集,而BlazeFace(复杂场景下可替换为RetinaFace来提高人脸检测成功率)适合在代码中运行。 此外,根据我们最近的实验结果,这三种方式以及Dlib提取出的landmark只要经过calibration,最后训练的效果都类似,而且可以混用。因此在demo中提供了几种不同的方案。

frederickszk avatar May 29 '23 08:05 frederickszk

了解,感謝您的回覆!

因為我先前使用RetinaFace處理過的FF++數據集 (是使用您demo中的代碼製作的),發現效果不如您提供的數據集,train在FF++ (raw) 大概只有95%的AUC,想問一下這個數據跟您最近的實驗結果是相似的嗎,還是哪裡可能有出什麼問題?再次感謝您的回覆!

peijenc avatar May 31 '23 06:05 peijenc

我最近测试过在FS上的效果,用openFace的train,再用FAN提取的特征点测,AUC也在99%左右。但我使用的是默认的blazeFace,因为FF++数据集基本都是正面人脸,能正常检测到,理论上retinaFace的提取效果应该类似,因为retinaFace只是人脸检测器,后面检测特征点的部分用的还是FAN。

性能有出入的原因可能有:1. 可能是其它几个子数据集(比如NT)用不同的检测器+标定后偏移会大一些,干扰FF++整体的效果。我后续有时间再测试一下FF++上完整的性能。2. 可能是我目前公布的参数在训练时还用了一些代码中未更新的数据增强技巧,所以report效果会好一些,但直接用当前版本的代码训练可能不能完全达到我发布的模型的效果。后面文章更新以后我会再同步更新这部分代码~

frederickszk avatar May 31 '23 07:05 frederickszk

原來如此,感謝您撥空回覆,期待您的後續更新!

peijenc avatar Jun 01 '23 07:06 peijenc

作者您好,我們近期發現您提供的landmark dataset中c23的FS及NT data是完全重複的,若您有時間再麻煩更新一下,謝謝!

peijenc avatar Nov 30 '23 10:11 peijenc

作者您好,我們近期發現您提供的landmark dataset中c23的FS及NT data是完全重複的,若您有時間再麻煩更新一下,謝謝!

感谢反馈!我们近期会重新上传一版数据集。这段时间在数据预处理的和demo部分有很多优化,所以还没来得及验证后上传。预计在下周左右完成

frederickszk avatar Nov 30 '23 13:11 frederickszk

作者您好,我們近期發現您提供的landmark dataset中c23的FS及NT data是完全重複的,若您有時間再麻煩更新一下,謝謝!

您好~抱歉回复迟了🙏 我刚刚已经更新了最新的数据集,可以查看这个页面。 经过检查,之前的数据集有误是因为手动切分成三个压缩率版本时拷贝错了。所以这次为了方便直接把整个数据集打包成一个链接发布。 新的数据集是通过改良的预处理操作得到的,综合性能会有所提升,详细的原理明天就更新到本repo的文档中,有问题欢迎随时联系😄

frederickszk avatar Jan 07 '24 16:01 frederickszk