learn_dl
learn_dl copied to clipboard
hanbt
Deep learning algorithms source code for beginners
楼主你好，非常感谢您如此细心的博客和学习笔记，关于数学公式的推导也非常的细致，获益匪浅。 但是我发现这里面（https://zybuluo.com/hanbingtao/note/541458）的图片都没有办法显示和查看，希望能够更新一下呀~
使用向量化后的代码跑时，在前向运算的时候，输入层与权重作用后应该生成（100，1）的隐含层向量，却总是输出（100，100）维度的，导致后续没法计算，不知道是不是数据格式的问题还时代码的问题
各位开发人员好: 最近我回头看反向传播的过程. 在全连接神经网络的反向传播的实现代码部分 (class NetWork): ` def calc_gradient(self, label): delta = self.layers[-1].activator.backward(self.layers[-1].output) * (label - self.layers[-1].output) for layer in self.layers[::-1]: layer.backward(delta) delta = layer.delta return delta`. 结合文章, 我没有看明白求解梯度的这个第一行代码是在计算什么. 按照反向传播的起点来算, 应该是从损失函数开始算起,...
``` self.delta = self.activator.backward(self.input) * np.dot(self.W.T, delta_array) self.W_grad = np.dot(delta_array, self.input.T) self.b_grad = delta_array ``` `np.dot(self.W.T, delta_array)`中的权重应为下层的权重，不是当前层的权重； `delta_array`为从下一层传递过来的误差项，权重梯度及偏置梯度应根据当前层的误差项进行计算。 ``` self.W_grad = np.dot(self.delta, self.input.T) self.b_grad = self.delta ```
开始不是用Relu函数吗？为啥现在使用了f(x)=x这个线性函数？ 如果我打算使用Relu函数运用在前向传播中，进行梯度检验，那么sensitivity_array应该如何设置啊？就这一块没明白
学习长短时记忆网络(LSTM)中发现一个问题，Wfx、Wix, Wox, Wcx的权重梯度的计算，没有对历史时刻t进行累加。而在循环神经网络(RNN)中，损失函数E对权重矩阵U的梯度，也是各个时刻E对U的梯度之和。因此很奇怪，LSTM中损失函数对Wfx、Wix, Wox, Wcx的权重梯度，只取最后时刻的梯度，而没有按历史时刻进行梯度累加。 我怀疑LSTM里Wfx、Wix, Wox, Wcx的权重梯度的计算写错了，也应当按照历史时刻t进行梯度累加。
