zhql
zhql
Make sure 'from .rest import *' is in 'models/\_\_init\_\_.py'. In addition, ' -model rest_base' should be ' --model rest_base'.
通道注意力是需要建模不同通道间的关系,空间注意力是建模通道内部的空间关系,即给不同通道内的特征赋予一个不同的权重.因此虽然空间注意力的参数大小为c/2Gx1x1,它依然是空间注意力,而不是通道注意力.
可以尝试在每个stage的最后一个block添加SA
热力图的实现可以参考：[Group-CAM](https://github.com/wofmanaf/Group-CAM).
很抱歉现在才有时间回复.SA先进行分组的目的是假设每一个子组学到的特征是类似的,然而这个假设虽然能够有效地降低计算量,实际运行中并不一定完全正确,因此在aggregation之后进行shuffle操作,这样在下一次分组后每个子组要处理的特征和并不是全部来自上一个stage同样编号的分组.这样做的好处是不同子组的特征之间也进行了一定的信息交互.
因为每个block有个残差连接的操作，所以在一定程度上可以认为是起到了特征交互的作用。也可以尝试多次分组shuffle合并的操作，通过实验确定有没有作用
PA的作用是给予patch embedding后的token的每个像素点一个权重值,这和用学习的参数进行相加的作用是一样的,都是保证token有序.代码中将PA嵌入到Patch Embedding中是因为Patch Embedding是使用卷积操作获得的,而PA也是使用卷积操作,两者融合可以减少一步reshape操作,提高效率
预训练模型[google drive](https://drive.google.com/drive/folders/1H6QUZsKYbU6LECtxzGHKqEeGbx1E8uQ9)地址更新了
更新了一下google drive地址：https://drive.google.com/drive/folders/1H6QUZsKYbU6LECtxzGHKqEeGbx1E8uQ9?usp=sharing
这个应该是分组的组数不能被channel维度整除造成的，可以尝试较小的分组数