cyrixlin
Results
3
comments of
cyrixlin
"LSTM里Xt-1与Wfx、Wix, Wox, Wcx是没有关系的"，Xt-1与Wfx、Wix, Wox, Wcx当然是有关系的。RNN与LSTM里权重系数都是共享的，X1, X2, ... Xt-1, Xt共享一套Wfx、Wix, Wox, Wcx。因此Wfx、Wix, Wox, Wcx发生变动是从各个时刻共同来影响最后的损失函数L的。
确实Wfx,Wix,Wox,Wcx就是和RNN里的U类似，但是RNN里的U的梯度是所有时间和，这里也没有任何道理求Wfx,Wix,Wox,Wcx的梯度时候不对各个时刻求和。Wfx、Wix, Wox, Wcx发生变动是从各个时刻共同来影响最后的损失函数L的。这道理是很明显的。
是的，原代码是有问题。请大家参考29#，我做了梯度验证（代码修改前、修改后），证明了原代码有问题，修改后的是正确的。正确代码也在29#，供大家参考。