U-Net: Convolutional Networks for Biomedical Image Segmentation

（本人才疏學(xué)淺，如有錯誤歡迎指正）
論文地址：https://lmb.informatik.uni-freiburg.de/people/ronneber/u-net/

成都網(wǎng)站建設(shè)公司更懂你！成都創(chuàng)新互聯(lián)只做搜索引擎喜歡的網(wǎng)站！成都網(wǎng)站制作前臺采用搜索引擎認(rèn)可的DIV+CSS架構(gòu),全站HTML靜態(tài),H5高端網(wǎng)站建設(shè)+CSS3網(wǎng)站,提供：網(wǎng)站建設(shè)，微信開發(fā)，成都微信小程序，商城網(wǎng)站建設(shè)，成都app開發(fā)，主機域名，服務(wù)器租售，網(wǎng)站代托管運營，微信公眾號代托管運營。1 摘要 卷積神經(jīng)網(wǎng)絡(luò)在生物圖像分割上的應(yīng)用 用于解決的問題：

一般來說成功訓(xùn)練深度網(wǎng)絡(luò)需要數(shù)千個帶注釋的訓(xùn)練樣本，但在生物醫(yī)學(xué)任務(wù)中，成千上萬的訓(xùn)練圖像通常是遙不可及的。這篇文章提出了一種網(wǎng)絡(luò)和訓(xùn)練策略，它依賴于數(shù)據(jù)擴充的強大使用，以更有效地使用可用的帶注釋的樣本。該體系結(jié)構(gòu)由捕獲上下文的收縮路徑和支持精確定位的對稱擴展路徑組成。這樣的網(wǎng)絡(luò)可以從非常少的圖像中端到端地訓(xùn)練。

2 引言 卷積網(wǎng)絡(luò)+生物醫(yī)學(xué)圖像處理需要解決的兩個問題

• 1.定位問題
  卷積網(wǎng)絡(luò)的典型用途是分類任務(wù)，其中圖像的輸出是單個類別標(biāo)簽。然而，在許多視覺任務(wù)中，特別是在生物醫(yī)學(xué)圖像處理中，期望的輸出應(yīng)該包括定位，即，假設(shè)為每個像素分配一個類標(biāo)簽。
• 2.訓(xùn)練圖像的數(shù)量很少
  策略一：在滑動窗口設(shè)置中訓(xùn)練網(wǎng)絡(luò)，以通過提供該像素周圍的局部區(qū)域（補丁）來預(yù)測每個像素的類標(biāo)簽作為輸入。優(yōu)點是產(chǎn)生了大量的訓(xùn)練數(shù)據(jù)。缺點一，慢，因為網(wǎng)絡(luò)必須為每個補丁單獨運行，并且由于重疊修補程序而存在大量冗余。缺點二，有一個定位的準(zhǔn)確性和使用上下文之間的權(quán)衡。較大的補丁需要更多的大池化層，這會降低定位精度，較小的需要很少的上下文信息。優(yōu)點，實現(xiàn)了定位且產(chǎn)生的訓(xùn)練數(shù)據(jù)比訓(xùn)練圖像的數(shù)量大得多。
  策略二：考慮了多個層的特征的分類器輸出。好的定位和上下文信息可能被同時使用。本論文使用策略二。將不同的層進(jìn)行一個“疊”操作，即收縮路徑和擴張路徑u型結(jié)構(gòu)對應(yīng)的層進(jìn)行通道數(shù)疊加，當(dāng)做下一層的輸入。

本文網(wǎng)絡(luò)介紹

• 本論文結(jié)構(gòu)建立在全卷積網(wǎng)絡(luò)中（無全連接層），修改并擴展了該架構(gòu)，使得它可以使用非常少的訓(xùn)練圖像工作，并產(chǎn)生更精確的分割。特別的是，又通過連續(xù)的層來實現(xiàn)對通常的一個“收縮”的網(wǎng)絡(luò)的補充，其中用上采樣來代替池化。為了定位，來自收縮路徑的高分辨率特征結(jié)合了上采樣的輸出。隨后，后續(xù)卷積層可以學(xué)習(xí)基于該信息來組合更精確的輸出。
• 特別的是，在上采樣層中具有大量特征通道，允許網(wǎng)絡(luò)將上下文信息傳播到更高分辨率層（將不同的層進(jìn)行一個**“疊”操作**）。因此，擴張路徑盡量地與收縮路徑對稱，并產(chǎn)生U形結(jié)構(gòu)。該網(wǎng)絡(luò)沒有全連接層，并且僅使用每個卷積的有效部分，即，最后輸出的分割圖中僅包含了 ‘在輸入圖像中可獲得其全部上下文的’ 像素點。
• overlap-tile重疊平鋪策略：為了預(yù)測圖像的邊界區(qū)域中的像素，通過鏡像輸入圖像來外推丟失的上下文。（即收縮路徑上的圖像）這種平鋪策略對于大圖像的應(yīng)用很重要，否則分辨率將受到GPU存儲器的限制。
• 數(shù)據(jù)擴充對學(xué)習(xí)不變性的價值：對于我們的任務(wù)，可用的訓(xùn)練數(shù)據(jù)非常少，我們通過將彈性變形應(yīng)用于可用的訓(xùn)練圖像來使用過度的數(shù)據(jù)擴充。這允許網(wǎng)絡(luò)學(xué)習(xí)到這種彈性變形的不變性，而不需要在帶注釋的圖像語料庫中看到這些變換。這在生物醫(yī)學(xué)分割中特別重要，因為變形曾經(jīng)是組織中最常見的變化，并且可以有效地模擬真實變形。數(shù)據(jù)擴充對學(xué)習(xí)不變性的價值在Dosovitskiy等人的無監(jiān)督特征學(xué)習(xí)的范圍中顯示出了。
• 在許多細(xì)胞分割任務(wù)中的另一個挑戰(zhàn)是同類的接觸單元的分離；為此，我們建議使用加權(quán)損失，其中接觸單元之間的分離背景標(biāo)簽 在 損失函數(shù)中獲得大的權(quán)重。

3 網(wǎng)絡(luò)結(jié)構(gòu)

它由收縮路徑和擴張路徑組成。

• 收縮路徑
  遵循卷積網(wǎng)絡(luò)的典型架構(gòu)。它包括兩個3x3卷積（未填充卷積），每個卷積后接一個ReLU單元和一個步長為2的2x2大池操作，用于下采樣。在每個下采樣步驟中，我們將特征通道的數(shù)量加倍。
• 擴展路徑
  中的每一步包括特征圖的上采樣，隨后是將特征通道數(shù)量減半的2x2卷積（“上卷積”），與來自收縮路徑的相應(yīng)特征通道的疊在一起，以及兩個3x3卷積，每個卷積之后是ReLU。由于每個卷積中的邊界像素的損失，裁剪是必要的。在最后一層，使用1x1卷積將每個64分量特征向量映射到所需數(shù)量的類。網(wǎng)絡(luò)總共有23個卷積層。
• 要注意的點為了實現(xiàn)輸出分割圖的無縫切片（見圖2），選擇輸入切片大小非常重要，這樣所有2x2大池操作都將應(yīng)用于x和y大小相等的情況。

4 訓(xùn)練

1. 網(wǎng)絡(luò)訓(xùn)練過程
   使用輸入圖像及其相應(yīng)的分割圖的訓(xùn)練使用了Caffe 的隨機梯度下降實現(xiàn)的網(wǎng)絡(luò)。由于卷積過程中未填充，輸出圖像比輸入圖像小恒定的邊界寬度。為了最小化開銷并大限度地利用GPU內(nèi)存，我們傾向于使用大的單個的輸入切片而不是大的批處理大小，從而使用單個圖像批處理。因此，我們使用高動量（0.99），使得大量先前看到的訓(xùn)練樣本確定當(dāng)前優(yōu)化步驟中的更新。
   該能量函數(shù)是通過在最終特征圖上結(jié)合交叉熵?fù)p失函數(shù)的像素級別的softmax來計算的。我們引入交叉熵?fù)p失函數(shù)是為了在訓(xùn)練中給予一些像素更重要的意義。
   我們預(yù)先計算每個地面實況分割的權(quán)重圖，以補償訓(xùn)練數(shù)據(jù)集中某類像素的不同頻率，并迫使網(wǎng)絡(luò)學(xué)習(xí)我們在接觸細(xì)胞之間引入的小分隔邊界。使用形態(tài)學(xué)處理來計算分離邊界。然后，權(quán)重圖計算如下公式
   在具有許多卷積層和通過網(wǎng)絡(luò)的不同路徑的深度網(wǎng)絡(luò)中，權(quán)重的良好初始化是極其重要的。否則，網(wǎng)絡(luò)的某些部分可能會給予過度的激活，而其他部分則根本不起作用。理想地，初始權(quán)重應(yīng)當(dāng)被適配成使得網(wǎng)絡(luò)中的每個特征圖具有近似單位方差。對于具有我們的架構(gòu)的網(wǎng)絡(luò)（交替卷積和ReLU層），這可以通過從標(biāo)準(zhǔn)差為2/N的高斯分布中提取初始權(quán)重來實現(xiàn)，其中N表示一個神經(jīng)元的傳入節(jié)點數(shù)。例如，對于3x 3卷積和前一層中的64個特征通道，N = 9 · 64 = 576。
2. 數(shù)據(jù)擴充
   當(dāng)只有很少的訓(xùn)練樣本可用時，數(shù)據(jù)擴充對于教導(dǎo)網(wǎng)絡(luò)期望的不變性和魯棒性是必要的。對于顯微圖像，我們主要需要移位和旋轉(zhuǎn)不變性以及對變形和灰度值變化的魯棒性。特別是訓(xùn)練樣本的隨機彈性變形似乎是用非常少的注釋圖像訓(xùn)練分割網(wǎng)絡(luò)的關(guān)鍵概念。我們在3 × 3的粗網(wǎng)格上使用隨機位移向量生成平滑變形。從具有10像素標(biāo)準(zhǔn)偏差的高斯分布中對位移進(jìn)行采樣。然后使用雙三次插值計算每像素位移。收縮路徑末端的丟棄層執(zhí)行進(jìn)一步的隱式數(shù)據(jù)擴充。

5 結(jié)論

u-net架構(gòu)在非常不同的生物醫(yī)學(xué)分割應(yīng)用中實現(xiàn)了非常好的性能。得益于彈性變形的數(shù)據(jù)擴充，它只需要很少的注釋圖像，并且在NVidia Titan GPU（6 GB）上有非常合理的訓(xùn)練時間，只有10個小時。我們提供完全基于Caffe[6]的實現(xiàn)和經(jīng)過培訓(xùn)的網(wǎng)絡(luò)4。我們確信，u-net體系結(jié)構(gòu)可以很容易地應(yīng)用于更多的任務(wù)。

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機房具備T級流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級服務(wù)器適合批量采購，新人活動首月15元起，快前往官網(wǎng)查看詳情吧

網(wǎng)頁名稱：U-Net卷積神經(jīng)網(wǎng)絡(luò)在生物圖像分割上的應(yīng)用簡單易懂筆記-創(chuàng)新互聯(lián)
標(biāo)題URL：http://chinadenli.net/article24/dgphje.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、商城網(wǎng)站、定制開發(fā)、網(wǎng)站收錄、網(wǎng)站制作、微信公眾號

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)