CoSENT_Pytorch icon indicating copy to clipboard operation
CoSENT_Pytorch copied to clipboard

怎么测试?

Open HHY-ZJU opened this issue 3 years ago • 3 comments

请教一下,训练好之后,想要对两句话进行测试,tokenizer要用什么呢?看了下sentencebert没有保存训练后的tokenizer

HHY-ZJU avatar Mar 30 '22 02:03 HHY-ZJU

tokenizer不需要保存呀 就是用tokenizer直接对句子编码,然后送入模型。 具体可参考我的另一个库: https://github.com/shawroad/Semantic-Textual-Similarity-Pytorch 这个库更详细一些。

shawroad avatar Mar 30 '22 02:03 shawroad

请教一下,训练好之后,想要对两句话进行测试,tokenizer要用什么呢?看了下sentencebert没有保存训练后的tokenizer 你好,请问你测试了吗

lcy020625 avatar Aug 22 '22 15:08 lcy020625

如果你没有加入额外的词,就用原始的tokenizer。

shawroad avatar Aug 23 '22 01:08 shawroad