ELMoForManyLangs
ELMoForManyLangs copied to clipboard
lstm前一个batch的最后时刻的hidden_state,作为下一个batch的初始hidden_state?
读了一些代码,感觉lstm前一个batch的最后时刻的hidden_state,作为下一个batch的初始hidden_state?是这样吧? 为啥要这么设置呢?因为看读语料函数read_raw、create_batchs、create_one_batch中,每一个batch内部的语料是前后连续的,而batch之间是经过shuffle的,没有任何关系。 所以,把前一个batch的最后时刻的hidden_state作为下一个batch的hidden_state的原因是?
对啊,我也不太明白,而且这样的话,同一个batch输入两次,岂不是每次结果都不一样?