ELMoForManyLangs icon indicating copy to clipboard operation
ELMoForManyLangs copied to clipboard

lstm前一个batch的最后时刻的hidden_state,作为下一个batch的初始hidden_state?

Open chenmozxh opened this issue 6 years ago • 1 comments

读了一些代码,感觉lstm前一个batch的最后时刻的hidden_state,作为下一个batch的初始hidden_state?是这样吧? 为啥要这么设置呢?因为看读语料函数read_raw、create_batchs、create_one_batch中,每一个batch内部的语料是前后连续的,而batch之间是经过shuffle的,没有任何关系。 所以,把前一个batch的最后时刻的hidden_state作为下一个batch的hidden_state的原因是?

chenmozxh avatar May 29 '19 10:05 chenmozxh

对啊,我也不太明白,而且这样的话,同一个batch输入两次,岂不是每次结果都不一样?

LChanger avatar May 21 '20 07:05 LChanger