Dynamic-convolution-Pytorch icon indicating copy to clipboard operation
Dynamic-convolution-Pytorch copied to clipboard
verified publisher icon kaijieshi7

想请教一下attention2d里的temperature是干嘛的？

Open rainylt opened this issue 5 years ago • 2 comments

一直限制attention的输出大小，这是warmup的手法吗？为什么是加在attention后面而不是卷积后面呢？

rainylt avatar Sep 23 '20 12:09 rainylt

这和知识蒸馏里面的内容相关，原文有提到为什么用tempeature，知识蒸馏可以看《Distilling the Knowledge in a Neural Network》这篇文章。

kaijieshi7 avatar Sep 24 '20 01:09 kaijieshi7

您好，请问应该怎么让这个程序跑起来呀

fxYOLO avatar Nov 02 '23 10:11 fxYOLO