Weinan Gan

icon company Huawei Noah's Ark Lab icon location 中国深圳 icon location I am now a researcher at Noah's Ark Lab, Huawei. Recently focus on LLM Alignment & LLM Enhanced Information Retrieval

Results 2 comments of Weinan Gan

关于copy部分的问题

我猜测是的，按照作者数据处理的代码所有oov词的id都取‘UNK’对应的id，则数据流中的id都一定会在dict里面有对应，而作者模型中计算finial_dist里面，最终调用tf.scatter_nd函数时候，最后一维的大小是vocabsize，所以没有扩展，但这样的问题就是当需要复制oov到当前步骤的摘要产生时候都会是unk，所以反推只能是基于字，换句话说作者基于字就不存在oov问题，copy机制更像是对source text的attention和vocab distribution的加权和，希望帮到你

同一个batch中相同的句子一起输入模型，在这一次正向传播中 dropout是一样的吧?

同问，相当于正例通过的是同一个模型，这个和原论文不符合~