WinnieRerverse
Results
3
comments of
WinnieRerverse
这个是span指的是NER的标记方式，有别于传统的BIO模式，和spanbert不是一回事
我的理解，self.end_fc(sequence_output, label_logits）这个是BERT的隐层输出和 label_logits拼接，就是想计算end_logits 除了sequence_output信息外能融合start_positions(label_logits)的信息，而计算start_logits只有sequence_output信息，但是我觉得这样直接拼接效果不好，一是隐层的维度比label的维度大的多，二是label_logits都是0或1，比较稀疏，和隐层embeding的数值不太一样
我做三元组抽取任务，用pturning微调2000条数据，微调之后，问你好，输出结果的都是三元组，用lora就不会出现这个问题