BERT_Chinese_Classification icon indicating copy to clipboard operation
BERT_Chinese_Classification copied to clipboard
verified publisher icon renxingkai

请教一下，怎么提取Bert训练的词向量，加载到其他模型上

Open HooFaya opened this issue 6 years ago • 4 comments

HooFaya avatar Jun 06 '19 08:06 HooFaya

No description provided.

取出最后一层的bert输出，然后后面接你要加入的其他模型即可，具体可以看其他代码

renxingkai avatar Jun 07 '19 07:06 renxingkai

嗯，懂了，谢谢你的回复！

HooFaya avatar Jun 07 '19 09:06 HooFaya

No description provided.

取出最后一层的bert输出，然后后面接你要加入的其他模型即可，具体可以看其他代码

这个是微调吧。。。想把bert的词表embedding裁剪或者增加到自己的词表，，，这个您知道怎么操作么

Crescentz avatar Sep 25 '20 14:09 Crescentz

No description provided.

取出最后一层的bert输出，然后后面接你要加入的其他模型即可，具体可以看其他代码

这个是微调吧。。。想把bert的词表embedding裁剪或者增加到自己的词表，，，这个您知道怎么操作么

请问你们运行出来自己的模型了吗，将bert与其他模型结合

yummy936 avatar Apr 22 '22 10:04 yummy936