CoSENT_Pytorch icon indicating copy to clipboard operation
CoSENT_Pytorch copied to clipboard
verified publisher icon shawroad

最后获取句向量需要去掉padmask部分后取平均值

Open wangzemin63 opened this issue 3 years ago • 4 comments

获取bert输出的最后一个hiddenstate的每一个token的词向量相加取平均作为句向量，是不是应该先将padding部分的词向量置为0，然后再相加取平均呢？

wangzemin63 avatar Aug 09 '22 08:08 wangzemin63

嗯嗯

shawroad avatar Aug 09 '22 08:08 shawroad

还想请教大佬，为什么在cosentmodel里面，您直接用了平均池化而没有用mask将padding部分的词向量置0，这里是笔误吗还是另有深意？我是刚入门的小白，问题比较多 还请大佬勿怪。

wangzemin63 avatar Aug 10 '22 05:08 wangzemin63

最好还是将padding的位置进行mask。 这个代码之前写的时候 没加吧。

shawroad avatar Aug 10 '22 09:08 shawroad

好的好的 非常感谢

wangzemin63 avatar Aug 11 '22 03:08 wangzemin63