VAN-Classification icon indicating copy to clipboard operation
VAN-Classification copied to clipboard
verified publisher icon Visual-Attention-Network

Attention模块代码中的shortcut

Open GoPikachue opened this issue 1 year ago • 3 comments

作者您好！ 我注意到代码中的Attention模块里面存在一个论文中未标注的shortcut被用于残差连接。 Z{C1PKZCY)U{I0KNMD@SF@A H)O7HCK4{8R2ZY2O$6@HUCD 想请问一下，这个连接是必要的吗

GoPikachue avatar Mar 04 '24 13:03 GoPikachue

作者您好！ 我注意到代码中的Attention模块里面存在一个论文中未标注的shortcut被用于残差连接。 Z{C1PKZCY)U{I0KNMD@SF@A H)O7HCK4{8R2ZY2O$6@HUCD 想请问一下，这个连接是必要的吗

Image我在研究源码时一只无法解惑作者这个DW-Conv 和DW-D-Conv的实现是怎么实现的以及LKA怎么用到这两个东西，请问您知道？ @GoPikachue

mrbird643 avatar Jul 18 '25 11:07 mrbird643

我理解的：DW-Conv用于通道计算，DW-D-Conv捕捉远距离依赖。@mrbird643

GoPikachue avatar Jul 18 '25 12:07 GoPikachue

我理解的：DW-Conv用于通道计算，DW-D-Conv捕捉远距离依赖。@mrbird643

醍醐灌顶，非常感谢。

mrbird643 avatar Jul 18 '25 12:07 mrbird643