模型权重初始化并非小随机数，使用的是kaiming初始化

[pascal1129]

0.0.4版本第26页处，您写道：

其实，在创建网络实例的过程中, 一旦调用 nn.Conv2d 的时候就会有对权值进行初始化 Conv2d 是继承_ConvNd，初始化赋值是在_ConvNd当中，这些值是创建一个 Tensor 时得到的，是一些很小的随机数。

实际上，并非如此，在pytorch源码中使用的是kaiming初始化，也就是说，pytorch的模型权值初始化不是很小的随机数。

参见： https://github.com/pytorch/pytorch/blob/6e453e56f991d43ff9d0eac715020b7ef877ca77/torch/nn/modules/conv.py#L43

https://github.com/pytorch/pytorch/blob/6e453e56f991d43ff9d0eac715020b7ef877ca77/torch/nn/modules/conv.py#L45

[TingsongYu]

您说的正确，我那里确实弄错了，默认初始值的设置是在_ConvNd类中的 --> self.reset_parameters() ---> def reset_parameters(self) ---> self.weight.data.uniform_(-stdv, stdv)

不过我发现我这个版本的pytorch采用的是均匀分布，不知从哪个版本之后修改成了kaiming初始化。如果以后有需要，就从 torch/nn/modules/conv.py 中 reset_parameters(self)函数去查找。