0
語義分割是指將圖像中的每個像素歸于類標簽的過程，這些類標簽可以包括一個人、汽車、鮮花、一件家具等。
它的一些主要應用是在自動駕駛、人機交互、機器人和照片編輯/創意工具中。例如，語義分割在汽車自動駕駛和機器人技術中是至關重要的，因為對于一個模型來說，了解其所處環境中的語義信息是非常重要的。
圖源：http://www.cs.toronto.edu/~tingwuwang/semantic_segmentation.pdf
Weakly- and Semi-Supervised Learning of a Deep Convolutional Network for Semantic Image Segmentation (用于語義分割的弱監督和半監督的深度神經網絡)
Fully Convolutional Networks for Semantic Segmentation (用于語義分割的全卷積神經網絡)
U-Net: Convolutional Networks for Biomedical Image Segmentation (用于生物醫學圖像的語義分割卷積神經網絡)
The One Hundred Layers Tiramisu: Fully Convolutional DenseNets for Semantic Segmentation （用于語義分割的全卷積DenseNet）
Multi-Scale Context Aggregation by Dilated Convolutions (基于擴張卷積的多尺度上下文聚合)
DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs(DeepLab: 使用深度神經網絡，空洞卷積，和全連接CRF做語義分割的網絡)
Rethinking Atrous Convolution for Semantic Image Segmentation（語義分割中的空洞卷積的再思考）
Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation（ 空間金字塔池化模塊和編碼-解碼結構用于語義分割的深度網絡結構.）
FastFCN: Rethinking Dilated Convolution in the Backbone for Semantic Segmentation（Fast FCN:對語義分割分割后端的空洞卷積的再思考）
Improving Semantic Segmentation via Video Propagation and Label Relaxation（通過視頻傳播和標簽松弛改善語義分割）
Gated-SCNN: Gated Shape CNNs for Semantic Segmentation（門控-SCNN: 用于語義分割的門控形狀卷積神經網絡）
這篇文章提出了一種解決方法，用于面對深度卷積網絡中處理弱標記數據的難題、以及處理良好標記與未適當標記數據結合。
本文應用了一個深度CNNs與全連接條件隨機場的組合。
用于語義分割的DCNN弱和半監督學習（https://arxiv.org/abs/1502.02734）
在PASCAL VOC分割基準中，這個模型給出了超過70%的平均IoU。這種模型的一個主要難題是它在訓練時需要在像素層次標記的圖像。
這篇文章的主要貢獻在于：
引入弱監督和半監督設定都適用的期望最大化算法來用于邊界框或圖像層次的訓練；
證明弱與強標記的組合能夠改善性能，在合并MSCOCO數據集和PASCAL數據集的標記后，論文作者在PASCAL VOC2012上獲得73.9%的IoU；
證明通過合并少量像素級標記圖像和大量邊框或圖像級標注圖像獲得了更好的性能。
用于語義分割的全卷積網絡（https://arxiv.org/abs/1605.06211）
這篇文章提出的模型在PASCAL VOC 2012上取得了67.2%的平均IU。
全連接網絡輸入任意大小的圖像，生成一個對應空間維度的輸出。在這個模型中，ILSVRC分類器被轉換成一個全連接網絡，并使用逐像素損失和網絡內上采樣強化來進行密集預測，之后對分割的訓練就通過fine-tuning完成。Fine-tuning是在整個網絡上進行反向傳播完成的。
在生物醫學圖像處理中，獲得圖像中每個細胞的類別標簽至關重要。而生物醫學任務中最大的挑戰就在于難以獲得數以千計的圖像來用于訓練。
U-Net：用于醫學圖像分割的卷積網絡（https://arxiv.org/abs/1505.04597）
這篇文章構建在全卷積層之上，并將其修改使其在一些訓練圖像上有效并產出更精確的分割。
因為只能獲得很少的訓練數據，這個模型在已有數據上應用彈性變形來對數據增強。就如上面圖1中所示，網絡架構由左側的收縮路徑和右側的膨脹路徑組成。
收縮路徑由兩個 3x3 卷積組成，每個卷積后面都跟一個修正線性單元和一個用于下采樣的 2x2 最大池化。每個下采樣階段都多使特征通道數加倍。膨脹路徑步驟中包含一個特征通道的上采樣。這后面跟著將特征通道數減半的 2x2 上卷積。最后一層是一個將成分特征向量映射到要求類別數的 1x1 卷積。
在這個模型中，訓練使用輸入圖像——它們的分割圖，和一個Caffe實現的隨機梯度下降完成。數據增強用于在使用很少的訓練數據時教會網絡達到所要求的魯棒性和不變性。模型在一個實驗中達到了0.92的平均IoU。
04. 100層Tiramisu：用于語義分割的全卷積DenseNets（2017）
DenseNets背后的思想是使每一層以前向傳播的方式連接到所有層會使網絡更易于訓練并更精確。
100層Tiramisu：用于語義分割的全卷積DenseNets（https://arxiv.org/abs/1611.09326）
模型結構構建在dense塊的下采樣和上采樣路徑中，下采樣路徑有2個Transitions Down（TD）而上采樣路徑有兩個Transitions Up（TU）。圓圈和箭頭表示網絡內的連接模式。
這篇文章的主要貢獻在于：
擴展DenseNet結構到全卷積網絡來用于語義分割；
提出dense網絡中的上采樣路徑比其他上采樣路徑性能更好；
證明這個網絡能夠在標準基準上產生最優結果。
這個模型在CamVid數據集上達到了88%的全局準確率。
05. 擴張卷積的多尺度背景聚合（ICLR,2016）
在這篇論文中，開發了一種卷積網絡模塊，它可以在不損失分辨率的情況下融合多尺度的上下文信息。然后該模塊可以以任何分辨率插入現有架構。該模塊基于擴張卷積。
該模塊在Pascal VOC 2012數據集上進行了測試。它證明向現有語義分段體系結構添加上下文模塊可提高其準確性。
經過實驗訓練的前端模塊在VOC-2012驗證集上實現了69.5%的平均IoU，在測試機上實現了71.3%的平均IoU。該模型對不同物體的訓練精度如下所示。
06. DeepLab: 基于深度卷積網絡，空洞卷積和全連接CRFs的圖像語義分割(TPAMI, 2017)
通過使用DCNNs改進目標邊界的定位。
DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully… （https://arxiv.org/abs/1606.00915）
這篇文章提出的DeepLab系統在PASCAL VOC-2012語義圖像分割任務上實現了79.7%的mIOU。
本文針對深度CNNs在語義分割應用中面臨的主要挑戰，包括：
由Max-Pooling和下采樣的組合導致的特征分辨率的降低。
目標的多尺度問題。
DCNN空間變換的不變性導致定位精度降低，而以對象為導向的分類器又需要具有空間變換不變性。
空洞卷積可以通過對濾波器插入零點進行上采樣來實現，也可以對輸入特征map進行稀疏采樣來實現。第二種方法需要對輸入特征圖通過一個等于空洞卷積率r的因子進行下采樣，并將其去除間隔行生成r^2的縮減分辨率map，每種可能的轉換為r×r分辨率的縮減變換均對應一個分辨率map。然后，對得到的特征map應用標準卷積操作，將提取到的特征與圖像的原始分辨率進行融合。
本文討論了使用DCNNs進行語義分割的兩個挑戰（前面提及）；應用連續池化操作出現的特征分辨率降低和對象在多尺度出現。
重新思考用于語義圖像分割的Atrous卷積（https://arxiv.org/abs/1706.05587）
為了解決第一個問題，文章建議使用Atrous卷積，也成為擴張卷積。它提出通過使用Atrous卷積來擴大視野，因此包含了多尺度上下文，來解決第二個問題。
在沒有DenseCRF后處理的情況下，本文的'DeepLabv3'在PASCAL VOC 2012測試集上達到了85.7%的準確率。
08. 基于空洞可分離卷積編解碼器的圖像語義分割(ECCV, 2018)
本文的方法“DeepLabv3+”，在無需對PASCAL VOC 2012和Cityscapes數據集進行任何后期處理的情況下，測試集性能分別達到89.0%和82.1%。該模型是DeepLabv3的擴展，通過添加一個簡單的解碼器模塊來細化分割結果。
基于空洞可分離卷積編解碼器的圖像語義分割（https://paperswithcode.com/paper/encoder-decoder-with-atrous-separable）
圖源：https://arxiv.org/pdf/1802.02611v3.pdf
本文實現了兩種使用空間金字塔池化模塊進行語義分割的神經網絡。一種方法通過融合在不同分辨率下的特征來捕獲上下文信息，而另一種方法則著眼于獲得清晰的目標邊界。
圖源：https://arxiv.org/pdf/1802.02611v3.pdf
文章提出了一個聯合上采樣模塊，命名為聯合金字塔上采樣（JPU），以取代消耗大量時間和內存的擴張卷積。它的工作原理是將獲取高分辨率圖像的任務轉化為聯合上采樣問題。
該方法在Pascal Context數據集上實現53.13%的mIoU性能，運行速度提高了三倍。
圖源：https://arxiv.org/pdf/1903.11816v1.pdf
該方法實現了全連接網絡（FCN）作為主干，同時應用JPU對低分辨率特征映射進行上采樣，從而生成高分辨率的特征映射。用JPU代替擴張的卷積不會導致任何性能損失。
圖源：https://arxiv.org/pdf/1903.11816v1.pdf
通過視頻傳播法和標記松弛法優化語義分割（https://paperswithcode.com/paper/improving-semantic-segmentation-via-video）
來源：https://arxiv.org/pdf/1812.01593v3.pdf
利用合成數據集對分割網絡進行訓練，提高了預測精度。本文所提出的方法在Cityscapes數據集上可以達到83.5%的mIoUs，在CamVid數據集上可以達到82.9%的mIoUs。
圖源：https://arxiv.org/pdf/1812.01593v3.pdf
標簽傳播法(LP)通過將傳播的標簽與真實的未來幀進行配對，以創建新的訓練樣本。
圖像-標簽混合傳播法(JP)通過將傳播標簽與相應的傳播圖像進行配對，以創建新的訓練樣本。
本文主要有三個命題;利用視頻預測模型將標簽傳播到相鄰幀，引入圖像-標簽混合傳播法來處理圖像的不對齊問題，并通過最大化聯合類概率似然函數來松弛one-hot標簽的訓練。
圖源：https://arxiv.org/pdf/1812.01593v3.pdf
這篇文章是語義分割模塊的最新進展。作者提出了一種雙流CNN架構。在此體系結構中，形狀信息作為單獨的分支處理。該形狀流僅處理邊界相關信息。這由模型的門控卷積層（GCL）和本地監督強制執行。
門控SCNN：用于語義分段的門控形狀CNNs（2019，https://arxiv.org/abs/1907.05740）
該模型在mloU上的表現優于DeepLab-v3+ 1.5%，在F界面得分上優于4%。該模型已使用Citycapes基準進行評估。在較小和較薄物體上，該模型在IoU上實現7%的改進。
下表顯示了Gated-SCNN和其他模型的性能比較
我們現在應該跟上一些最常見的，以及集中最近在各種環境中執行語義分割的技術。
上面的文章/摘要包含其代碼實現的鏈接。我們很高興看到您在測試后獲得的結果。
Via:https://heartbeat.fritz.ai/a-2019-guide-to-semantic-segmentation-ca8242f5a7fc
想要繼續查看該篇文章相關鏈接和參考文獻？
點擊【2019 語義分割指南】即可訪問~
福利大放送——滿滿的干貨課程免費送！
「好玩的Python：從數據挖掘到深度學習」該課程涵蓋了從Python入門到CV、NLP實踐等內容，是非常不錯的深度學習入門課程，共計9節32課時，總長度約為13個小時。。
課程頁面：https://ai.yanxishe.com/page/domesticCourse/37
「計算機視覺基礎入門課程」本課程主要介紹深度學習在計算機視覺方向的算法與應用，涵蓋了計算機視覺的歷史與整個課程規劃、CNN的模型原理與訓練技巧、計算機視覺的應用案例等，適合對計算機視覺感興趣的新人。
課程頁面：https://ai.yanxishe.com/page/domesticCourse/46
現AI研習社將兩門課程免費開放給社區認證用戶，只要您在認證時在備注框里填寫「Python」，待認證通過后，即可獲得該課程全部解鎖權限。心動不如行動噢~
認證方式：https://ai.yanxishe.com/page/blogDetail/13999
雷鋒網雷鋒網雷鋒網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
