We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
1 parent 0585d5d commit 0333a8fCopy full SHA for 0333a8f
ch03_深度学习基础/第三章_深度学习基础.md
@@ -497,7 +497,7 @@ $$
497
2. 可微性: 当优化方法是基于梯度的时候,就体现了该性质;
498
3. 单调性: 当激活函数是单调的时候,单层网络能够保证是凸函数;
499
4. $ f(x)≈x $: 当激活函数满足这个性质的时候,如果参数的初始化是随机的较小值,那么神经网络的训练将会很高效;如果不满足这个性质,那么就需要详细地去设置初始值;
500
-5. 输出值的范围: 当激活函数输出值是有限的时候,基于梯度的优化方法会更加稳定,因为特征的表示受有限权值的影响更显著;当激活函数的输出是无限的时候,模型的训练会更加高效,不过在这种情况小,一般需要更小的 Learning Rate。
+5. 输出值的范围: 当激活函数输出值是有限的时候,基于梯度的优化方法会更加稳定,因为特征的表示受有限权值的影响更显著;当激活函数的输出是无限的时候,模型的训练会更加高效,不过在这种情况下,一般需要更小的 Learning Rate。
501
502
### 3.4.5 如何选择激活函数?
503
0 commit comments