今天上午arXiv出現(xiàn)一篇非常值得參考的語(yǔ)義分割文章《Efficient Ladder-style DenseNets for Semantic Segmentation of Large Images》，來(lái)自克羅地亞的研究人員提出了一種基于DenseNets構(gòu)建的形狀像梯子的語(yǔ)義分割架構(gòu)，其不僅精度達(dá)到目前最高（超越DeepLabV3+），而且參數(shù)量少，計(jì)算速度快，可謂語(yǔ)義分割領(lǐng)域的新突破。

以下是作者信息：

作者來(lái)自克羅地亞的薩格勒布大學(xué)。

提出問(wèn)題

作者指出，在深度學(xué)習(xí)領(lǐng)域圖像分類任務(wù)驗(yàn)證的有效網(wǎng)絡(luò)結(jié)構(gòu)，極大促進(jìn)了計(jì)算機(jī)視覺(jué)其他方向的研究。

比如大放異彩的ResNet深度殘差網(wǎng)絡(luò)，成名于ImageNet圖像分類任務(wù)，其影響力卻席卷整個(gè)神經(jīng)網(wǎng)絡(luò)的所有應(yīng)用領(lǐng)域。

但由于語(yǔ)義分割的計(jì)算量和參數(shù)量往往都很大，在現(xiàn)有硬件使用這些新出的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行新算法訓(xùn)練時(shí)，顯存的大小限制了更好地發(fā)揮其潛力，尤其是對(duì)那些大圖像比如百萬(wàn)像素圖像的語(yǔ)義分割。

作者詳細(xì)比較了ResNets與DenseNets（此部分可參考論文原文），認(rèn)為在擁有相近的網(wǎng)絡(luò)表達(dá)能力的ResNets與DenseNets網(wǎng)絡(luò)架構(gòu)中，DenseNets所需要的參數(shù)和計(jì)算量都相對(duì)較小。對(duì)于語(yǔ)義分割任務(wù)，應(yīng)以其為基礎(chǔ)模塊。

網(wǎng)絡(luò)架構(gòu)

下圖是作者提出算法的網(wǎng)絡(luò)架構(gòu)（請(qǐng)點(diǎn)擊查看大圖）：

圖中DB代表這Dense Blocks，TD為transition layers，TU為transition-up blocks，f為輸出特征圖（后面的數(shù)字為特征圖個(gè)數(shù)），輸出特征圖上的x4、x8...x32為下采樣倍數(shù)，SPP為spatial pyramid pooling module。

可以看出，其最明顯的特征是有兩個(gè)數(shù)據(jù)路徑。

上面的為下采樣數(shù)據(jù)路徑，特征圖不斷縮小。下面為上采樣數(shù)據(jù)路徑，并在此進(jìn)行數(shù)據(jù)融合。

整個(gè)結(jié)構(gòu)宛如梯子，故稱梯形風(fēng)格的（Ladder-style） DenseNets 。

實(shí)驗(yàn)結(jié)果

作者在主流的語(yǔ)義分割數(shù)據(jù)庫(kù)上與基于ResNet的相同結(jié)構(gòu)算法進(jìn)行了比較，也與其他state-of-the-art進(jìn)行了比較，驗(yàn)證了該算法精度達(dá)到最高的同時(shí)，速度快一個(gè)數(shù)量級(jí)，參數(shù)也是高精度語(yǔ)義分割算法中最小的（是在Cityscapes數(shù)據(jù)集上唯一的IoU上80的實(shí)時(shí)語(yǔ)義分割算法）。

下圖為在Cityscapes數(shù)據(jù)集驗(yàn)證集上使用與ResNet Blocks的算法的比較，可見(jiàn)在使用Dense Blocks時(shí)不僅參數(shù)少，計(jì)算速度快，而且精度也更高。

下圖為該算法的兩個(gè)最好模型與state-of-the-art語(yǔ)義分割算法在?Cityscapes 驗(yàn)證集與測(cè)試集的結(jié)果比較。

可見(jiàn)該文算法精度最高，計(jì)算量也接近最低水平！！

下圖上述結(jié)果的散點(diǎn)圖，該文提出的算法LDN是目前唯一的在Cityscapes數(shù)據(jù)集上IoU精度超過(guò)80的實(shí)時(shí)語(yǔ)義分割算法！

下圖是在CamVid 測(cè)試集上與基于ResNet結(jié)構(gòu)的算法結(jié)果比較，LDN121依然是精度高、模型小、速度快。

下圖是與CamVid測(cè)試集上的其他state-of-the-art算法的結(jié)果比較，精度依舊是最優(yōu)秀的。

下圖是在Pascal VOC 2012 驗(yàn)證集與測(cè)試集上的與其他state-of-the-art算法相比的分割結(jié)果，依然取得了精度的新突破。

分割結(jié)果示例：

聲明：本文章由網(wǎng)友投稿作為教育分享用途，如有侵權(quán)原作者可通過(guò)郵件及時(shí)和我們聯(lián)系刪除