2019-8-13 seo達(dá)人
本文主要記錄幾種提升基于深度學(xué)習(xí)的圖像語義分割精度的方法，以防忘記！
By zhengzibing2011, 2017年10月21日-星期六
1
1.圖像語義分割面臨的挑戰(zhàn)
(1).特征分辨率減小：主要是由神經(jīng)網(wǎng)絡(luò)中的重復(fù)最大池化和降采樣（stride跨越）操作造成的，而采用此種操作的原因是
A.降維，以免參數(shù)過多難以優(yōu)化；
B.基于DL的語義分割是從用于分類任務(wù)的CNN轉(zhuǎn)化而來，而在分類任務(wù)中，分類器要求對輸入的空間變換具有不變性，池化恰能滿足這樣的要求。
(2).不同scale下的目標(biāo)存在的狀況：主要是目標(biāo)在multi-scale圖像中的狀態(tài)造成的，因?yàn)樵谕环N尺度下，不同目標(biāo)的特征往往響應(yīng)并不相同。如需要在較大的尺度下才能較好地提取圖像中比較小的目標(biāo)，而較大的目標(biāo)為了獲取全局性信息也必須在較小的尺度下才能實(shí)現(xiàn)。
(3). CNN的空間不變性造成定位精度的下降：對于分割任務(wù)而言，由于pooling操作引起的分類器對輸入的空間變換具有不變性丟失空間信息，內(nèi)在的限制了分割的空間精度。
2.潛在的解決方法
FCN作為將CNN應(yīng)用于semantic segmentation的forerunner，貢獻(xiàn)巨大。但不可回避，其提出的方法具有一些不足。為保證卻終的feature map不至于過小，F(xiàn)CN的conv1引入pad=100，引入了較大的噪聲；
32倍upsample(deconvolution)非常粗糙，而且deconvolution的filter不可學(xué)習(xí)； skip architecture雖能有效提高精度，但需要3次訓(xùn)練即FCN-32s->FCN-16s->FCN-8s。除skip architecture外。隨著研究的深入，針對以上挑戰(zhàn)，有以下幾種方法解決：
(1). Encoder-Decoder結(jié)構(gòu)
采用此種思想的代表為DeconvNet，SegNet，其基本思想是采用一種對稱結(jié)構(gòu)將由于pooling操作而減小的feature map通過逐步的upsample逐漸恢復(fù)到原圖像大小，同時(shí)在upsample階段，融合了subsample中pooling index，具體細(xì)節(jié)可參見原文。
(2). Atrous convolution
feature map的減小是由于pooling造成的，為確保一定精度的feature map，能否不使用或減少使用pooling呢？理論上是可行的，但如果這樣做會(huì)使得需要優(yōu)化的參數(shù)過多，重要的是難以基于以前的model進(jìn)行fine-tuning，atrous convolution解決了這個(gè)問題。
在DeepLab中令pool4,pool5的stride=1，再加上1 padding，這樣經(jīng)過pooling后feature map大小不變，但后層的感受野發(fā)生了變化，為使感受野不變，后面的卷積層使用atrous convolution，其作用是在不增加參數(shù)的前提下，增加感受野。因此，解決了feature map空間分辨率下降的問題。
(3). ASPP
針對不同scale下的目標(biāo)存在的狀況問題，可通過兩種方法解決：
A.標(biāo)準(zhǔn)的多尺度處理方法，用共享相同參數(shù)的并行CNN的分支，從不同尺度的Input image中提取score map，然后進(jìn)行雙線性差值，最終對它們進(jìn)行融合，在不同尺度上獲得每個(gè)位置的最大響應(yīng)。訓(xùn)練和測試時(shí)均這樣處理，比較繁瑣的是需要計(jì)算輸入圖像的每個(gè)尺度在各layer上的特征響應(yīng)。
B.基于任意尺度上的區(qū)域都可以用在這個(gè)單一尺度上重采樣卷積特征進(jìn)行有效地分類的思想，使用多個(gè)不同采樣率上的多個(gè)并行多空卷積，每個(gè)采樣率上提取的特征再用單獨(dú)的分支處理，融合生成最后的結(jié)果。
(4). FC-CRF
CRF幾乎可以用于所有的分割任務(wù)中圖像精度的提高。CNN可用于對圖像中的目標(biāo)進(jìn)行分類并預(yù)測出目標(biāo)的大致位置，但并不能真正描繪他們的邊界。因此，將DCNN的識別能力和全連接CRF優(yōu)化定位精度耦合在一起，能成功的處理定位挑戰(zhàn)問題，生成了的語義分割結(jié)果。全連接CRF理論較為復(fù)雜，在此不作闡述。類似的概率圖模型(PGM)還有MRF，G-CRF(高斯-條件隨機(jī)場)。
3.總結(jié)
目前，暫且先記錄以上4種提高分割精度的方法。后續(xù)若有新的方法，予以追加！
————————————————
藍(lán)藍(lán)設(shè)計(jì)( www.lapeinture.cn )是一家專注而深入的界面設(shè)計(jì)公司，為期望卓越的國內(nèi)外企業(yè)提供卓越的UI界面設(shè)計(jì)、BS界面設(shè)計(jì) 、 cs界面設(shè)計(jì) 、 ipad界面設(shè)計(jì) 、 包裝設(shè)計(jì) 、 圖標(biāo)定制 、 用戶體驗(yàn) 、交互設(shè)計(jì)、 網(wǎng)站建設(shè) 、平面設(shè)計(jì)服務(wù)。
藍(lán)藍(lán)設(shè)計(jì)的小編 http://www.lapeinture.cn