有关grid注意力的疑惑

Open XA23i opened this issue 2 years ago • 1 comments

你好，如果我想要全局的注意力图，要怎么操作呢，你的demo是对应某个grid的注意力图

May 10 '23 08:05 XA23i

您好，请问您解决这个问题了吗？我发现visualizer可视化的是某一个transformer layer的某个attention head的attn map，attn_map[i]的shape是(1, 12, 129, 129), grid_index是从0-128的int，在visualizer.py这个函数里，attention_map是(129, )的向量，如果grid_index取0，是不是就是cls的特征图，可以理解成全局的注意力图吗？我也想要全局注意力图，但是没想出合理的办法。请不吝赐教～

Jun 30 '23 10:06 AvadaKarrot