Skip to content

Commit 0333a8f

Browse files
author
Jiang Wenxin
authored
Update 第三章_深度学习基础.md
1 parent 0585d5d commit 0333a8f

File tree

1 file changed

+1
-1
lines changed

1 file changed

+1
-1
lines changed

ch03_深度学习基础/第三章_深度学习基础.md

+1-1
Original file line numberDiff line numberDiff line change
@@ -497,7 +497,7 @@ $$
497497
2. 可微性: 当优化方法是基于梯度的时候,就体现了该性质;
498498
3. 单调性: 当激活函数是单调的时候,单层网络能够保证是凸函数;
499499
4. $ f(x)≈x $: 当激活函数满足这个性质的时候,如果参数的初始化是随机的较小值,那么神经网络的训练将会很高效;如果不满足这个性质,那么就需要详细地去设置初始值;
500-
5. 输出值的范围: 当激活函数输出值是有限的时候,基于梯度的优化方法会更加稳定,因为特征的表示受有限权值的影响更显著;当激活函数的输出是无限的时候,模型的训练会更加高效,不过在这种情况小,一般需要更小的 Learning Rate。
500+
5. 输出值的范围: 当激活函数输出值是有限的时候,基于梯度的优化方法会更加稳定,因为特征的表示受有限权值的影响更显著;当激活函数的输出是无限的时候,模型的训练会更加高效,不过在这种情况下,一般需要更小的 Learning Rate。
501501

502502
### 3.4.5 如何选择激活函数?
503503

0 commit comments

Comments
 (0)