39
39
![ ] ( img/ch9/figure_9.1.1_2.jpg )
40
40
41
41
<center >图 4</center >
42
+
42
43
### 9.3.2 FCN网络结构?
43
44
44
45
FCN对图像进行像素级的分类,从而解决了语义级别的图像分割(semantic segmentation)问题。与经典的CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类(全联接层+softmax输出)不同,FCN可以接受任意尺寸的输入图像,采用反卷积层对最后一个卷积层的feature map进行上采样, 使它恢复到输入图像相同的尺寸,从而可以对每个像素都产生了一个预测, 同时保留了原始输入图像中的空间信息, 最后在上采样的特征图上进行逐像素分类。
103
104
![ ] ( img/ch9/figure_9.1.7_1.png )
104
105
105
106
<center >一个分类网络</center >
107
+
106
108
![ ] ( img/ch9/figure_9.1.7_2.png )
107
109
108
110
<center >变为全卷积网络</center >
111
+
109
112
![ ] ( img/ch9/figure_9.1.7_3.png )
110
113
111
114
<center >End-to-end, pixels-to pixels网络</center >
115
+
112
116
![ ] ( img/ch9/figure_9.1.7_4.jpg )
113
117
114
118
@@ -135,14 +139,17 @@ Upsampling的操作可以看成是反卷积(deconvolutional),卷积运算的
135
139
![ ] ( img/ch9/figure_9.1.8_1.png )
136
140
137
141
<center >上图中的反卷积,input是2×2, output是4×4。 Zero padding, non-unit strides, transposed。</center >
142
+
138
143
![ ] ( img/ch9/figure_9.1.8_2.png )
144
+
139
145
<center >上图中的反卷积,input feature map是3×3, 转化后是5×5, output是5×5</center >
140
146
### 9.2.8 跳级(skip)结构
141
147
142
148
&emsp ;&emsp ;
143
149
对CNN的结果做处理,得到了dense prediction,而作者在试验中发现,得到的分割结果比较粗糙,所以考虑加入更多前层的细节信息,也就是把倒数第几层的输出和最后的输出做一个fusion,实际上也就是加和:
144
150
145
151
![ ] ( img/ch9/figure_9.1.9_1.png )
152
+
146
153
&emsp ;&emsp ;
147
154
实验表明,这样的分割结果更细致更准确。在逐层fusion的过程中,做到第三行再往下,结果又会变差,所以作者做到这里就停了。
148
155
@@ -169,28 +176,32 @@ Upsampling的操作可以看成是反卷积(deconvolutional),卷积运算的
169
176
* 对于不同尺寸的输入图像,各层数据的尺寸(height,width)相应变化,深度(channel)不变。*
170
177
171
178
![ ] ( img/ch9/figure_9.1.10_1.png )
179
+
172
180
&emsp ;&emsp ;
173
181
(1)全卷积层部分进行特征提取, 提取卷积层(3个蓝色层)的输出来作为预测21个类别的特征。
174
182
175
- &emsp ;&emsp ;
183
+ &emsp ;&emsp ;& emsp ;& emsp ;
176
184
(2)图中虚线内是反卷积层的运算, 反卷积层(3个橙色层)可以把输入数据尺寸放大。和卷积层一样,升采样的具体参数经过训练确定。
177
185
178
186
&emsp ;&emsp ;&emsp ;&emsp ;
179
187
1 ) 以经典的AlexNet分类网络为初始化。最后两级是全连接(红色),参数弃去不用。
180
188
181
189
![ ] ( img/ch9/figure_9.1.10_2.png )
190
+
182
191
&emsp ;&emsp ;&emsp ;&emsp ;
183
192
2 ) 从特征小图()预测分割小图(),之后直接升采样为大图。
184
193
185
194
![ ] ( img/ch9/figure_9.1.10_3.png )
186
195
187
196
<center >反卷积(橙色)的步长为32,这个网络称为FCN-32s</center >
197
+
188
198
&emsp ;&emsp ;&emsp ;&emsp ;
189
199
3 ) 升采样分为两次完成(橙色×2), 在第二次升采样前,把第4个pooling层(绿色)的预测结果(蓝色)融合进来。使用跳级结构提升精确性。
190
200
191
201
![ ] ( img/ch9/figure_9.1.10_4.png )
192
202
193
203
<center >第二次反卷积步长为16,这个网络称为FCN-16s</center >
204
+
194
205
&emsp ;&emsp ;&emsp ;&emsp ;
195
206
4 ) 升采样分为三次完成(橙色×3), 进一步融合了第3个pooling层的预测结果。
196
207
0 commit comments