text_matching icon indicating copy to clipboard operation
text_matching copied to clipboard

esim模型中attention方面的疑问

Open 34127chi opened this issue 6 years ago • 3 comments

b_attention是不是不需要最外层的转置

建议attention的时候不考虑padding部分 可以参考transformer的attention部分

34127chi avatar Sep 03 '19 02:09 34127chi

b_attention最外层的转置没看明白呢,可以解答下吗?

sszhaoGit avatar Sep 05 '19 02:09 sszhaoGit

@sszhaoGit 我觉得是写错了 这是我的pr https://github.com/terrifyzhao/text_matching/pull/5/commits/002758625b16366fc4985c8dd6fddfb4ccfcf9ff

34127chi avatar Sep 05 '19 08:09 34127chi

同感,确实写错了,b_attention两次转置怎么想怎么觉得不对,后来仔细一想,维度都对不上。

showintime avatar Dec 09 '19 18:12 showintime