基于圖像分塊和多尺度學習的肺4D-CT圖像超分辨率重建研究.pdf

1、肺4D-CT在肺癌的治療中，對于準確定位腫瘤靶區(qū)、實現(xiàn)個體化精確放療具有重要的應用價值。它動態(tài)采集患者呼吸時的CT圖像，而后通過圖像重建和重新排序得到患者在不同呼吸相位的3D-CT圖像。與傳統(tǒng)3D-CT相比，4D-CT不僅能夠明顯消除呼吸運動偽影，而且能夠真實準確地反映肺部隨呼吸運動的變化規(guī)律。醫(yī)生可以根據(jù)4D-CT圖像來分析靶區(qū)及危及器官在呼吸過程中運動及變形規(guī)律，并依照患者的運動幅度對計劃靶區(qū)適當外擴以得到個體化的計劃靶區(qū)。使得在放

2、射治療過程中，既能滿足靶區(qū)的劑量需求，又能降低對正常組織和器官的毒副作用。然而，由于CT高劑量照射的特性，以及較長的數(shù)據(jù)采集時間，無法實現(xiàn)沿縱向（Z軸方向）進行密集采樣，這就導致了數(shù)據(jù)層間分辨率遠低于層內(nèi)分辨率，造成各項數(shù)據(jù)異性。因此，在觀察數(shù)據(jù)冠矢狀面圖像時，需沿Z軸進行插值放大以顯示正確比例的圖像，但是簡單的插值方法，并不引入新的信息，往往造成圖像模糊。
　　超分辨(Super Resolution，SR)重建是提高圖像分辨率

3、的有效方法。本文以提高肺4D-CT圖像分辨率為目標，提出了兩種基于肺4D-CT圖像數(shù)據(jù)本征特征的SR重建算法。
　　其一，我們提出了一種基于圖像分塊的SR重建算法:
　　(1)我們將肺4D-CT各相位圖像視為多幀退化的低分辨率(Low Resolution，LR)圖像輸入，然后采用基于重建的方法進行SR重建。肺4D-CT圖像采集過程可以看作是高分辨率(High Resolution，HR)肺圖像經(jīng)過一系列降質(zhì)因素而生成多幀L

4、R圖像的過程?；谥亟ǚ椒ǖ腟R問題，其關(guān)鍵在于建立一個精確簡潔的退化模型，以模擬原始HR圖像如何經(jīng)過一系列復雜的過程而退化為LR降質(zhì)圖像。該模型包含了致使生成圖像發(fā)生形變的相對運動，不同形式的模糊，降采樣處理以及各種噪聲。
　　(2)觀察肺4D-CT圖像時發(fā)現(xiàn)，呼吸運動偽影有時會造成不同相位圖像在局部結(jié)構(gòu)上存在較大差異。為了避免不同相位圖像偽影對重建結(jié)果的影響，我們對圖像進行分塊處理。而后，針對每一個LR目標圖像塊，利用相似性測

5、度函數(shù)度量其他相位對應圖像塊與目標圖像的相似程度。最后通過與設定閾值的比較，來判斷該圖像塊是否屬于目標圖像塊的相似塊，保留相似塊以參與SR重建，篩除不相似的圖像塊。我們在歐式距離的基礎之上定義了一個相似性測度函數(shù)，為了能夠更好的表征圖像塊的結(jié)構(gòu)信息，該相似性測度函數(shù)中融合了圖像塊的灰度信息及特征信息。實驗結(jié)果表明，這種圖像塊的自適應選取能夠有效過濾掉結(jié)構(gòu)差異明顯的圖像塊，保留結(jié)構(gòu)相似的圖像塊。進而減少SR重建時的干擾，達到消除偽影的目的

6、。
　　(3)我們將Demons配準算法應用到肺4D-CT數(shù)據(jù)中，將目標圖像塊作為參考圖像，選出的相似圖像塊依次作為浮動圖像，來估計二者之間的運動變形場?；谙袼鼗叶鹊腄emons配準算法，精度高、速度快，不需要對圖像序列進行預處理，而且CT圖像具有灰度連續(xù)性，相比其他算法更適合于臨床應用。
　　(4)在獲得圖像塊之間的運動變形場之后，我們采用凸集投影(POCS)算法重建得到HR圖像塊。該算法簡單有效，也能方便加入先驗知識。

7、最后，將所有生成的HR圖像塊拼接，并加入全局約束后，即可獲得最終輸出的完整HR肺4D-CT圖像。實驗結(jié)果表明，本文提出的方法能夠有效地消除偽影、重建出邊緣和細節(jié)均得到顯著增強的HR肺4D-CT圖像。
　　其二，本文提出了一種利用基于學習的SR重建技術(shù)來提高肺4D-CT圖像分辨率的方法。
　　基于重建的方法需要采用配準或塊匹配方法進行運動估計，導致其速度和精度往往受到配準速度和精度的限制。而基于學習的方法可以避免這一過程，成為

8、了當前SR重建技術(shù)研究的熱點領域。它通過機器學習方法從訓練樣本中產(chǎn)生學習模型，在對輸入的LR圖像進行恢復的過程中引入由學習模型獲得的先驗知識，以得到圖像的高頻信息，達到提高圖像分辨率的目的。因此，該類方法需要同時有原始HR圖像和對應LR圖像構(gòu)建訓練集。但是，肺4D-CT數(shù)據(jù)在軸向都是低分辨率的，無法獲取冠矢狀面的原始HR圖像。于是，選取何種數(shù)據(jù)來構(gòu)建訓練集是我們所面臨的第一個問題。
　　另外，基于學習的SR重建算法，其訓練和重建過

9、程均是以圖像塊為處理對象的，因此需要將圖像劃分為一系列重疊圖像塊。一般采用的圖像分塊方式是基于單一尺度的。但是，肺4D-CT圖像的解剖結(jié)構(gòu)特征卻是存在于不同尺度之下的。因此，如何設定圖像塊的大小，以適應于肺部不同尺度下的解剖信息，是我們所面臨的第二個問題。
　　針對以上兩個問題，我們提出了一種基于圖像自相似性的多尺度稀疏表示肺4D-CT圖像超分辨重建方法。該算法不僅很好地解決了以上兩個難題，更重建出了視覺效果和量化評價均較優(yōu)的HR

10、圖像。其詳細內(nèi)容如下:
　　(1)我們利用圖像的自相似性來解決構(gòu)建訓練集的問題。圖像自相似性的提出源自于對圖像的觀察，發(fā)現(xiàn)一些細小的結(jié)構(gòu)在整幅圖像中重復出現(xiàn)。此概念已經(jīng)被廣泛地用于一系列圖像處理技術(shù)之中。本文中我們研究了圖像塊尺寸分別為16×16，8×8和4×4的冠矢狀面圖像同橫斷面圖像之間的自相似性，并采用結(jié)構(gòu)相似性(Structure Similarity，SSIM)這一指標來度量圖像塊之間的相似性。實驗結(jié)果表明，冠矢狀面圖像

11、同橫斷面圖像不同尺度下的組織結(jié)構(gòu)均存在一定的相似性?；诖讼嗨菩裕鎸θ笔Ч谑笭蠲鍴R圖像的情形，我們采用橫斷面的HR和LR圖像塊作為訓練集。
　　(2)建立好訓練集，我們采用基于稀疏表示的SR重建技術(shù)來生成HR圖像。該算法的核心思想就是將HR圖像塊和其對應的LR圖像塊組對，用圖像塊對作為訓練數(shù)據(jù)，聯(lián)合訓練得到HR字典DH及LR字典DL。這種聯(lián)合訓練的目的是為了保證成對的HR和LR圖像塊具有相同的稀疏表示。因此，對于輸入的LR圖像

12、塊，可以直接利用它經(jīng)字典DL表示后的稀疏系數(shù)，再通過字典DH，重建得到對應的HR圖像塊。將所有的HR圖像塊拼接后，即可輸出完整的HR圖像。
　　(3)考慮到肺部圖像解剖結(jié)構(gòu)特征存在于不同尺度之下的數(shù)據(jù)特性，我們引入了多尺度策略。圖像多尺度分析最早可以追溯到1980年，先前的大量引入此策略構(gòu)建多尺度字典的算法，均是建立在預先設定字典的基礎之上。近年來，基于學習的多尺度字典構(gòu)建方法得到了學者們的廣泛關(guān)注。本文，我們結(jié)合不同尺度下冠矢狀

13、面與橫斷面圖像自相似的研究結(jié)果，采用四叉樹劃分原則，構(gòu)建多尺度圖像塊，并通過字典學習的方法訓練得到全局多尺度字典，實現(xiàn)基于圖像自相似性的多尺度稀疏表示肺4D-CT圖像超分辨率重建。實驗結(jié)果表明，該方法在視覺評價和定量評估方面均優(yōu)于基于單一尺度的稀疏表示算法，雙線性插值算法及POCS算法，并且避免了POCS算法中對結(jié)果速度及精度造成限制的圖像配準步驟。
　　本文實驗數(shù)據(jù)來源于德州大學安德森癌癥中心DIR實驗室提供的一套公共可用的肺4

14、D-CT數(shù)據(jù)集。該數(shù)據(jù)集由10組肺4D-CT數(shù)據(jù)組成;每組數(shù)據(jù)包含10個相位，包括極端的吸氣和呼氣時段。利用此數(shù)據(jù)集，我們對本文提出的兩種方法分別進行了仿真數(shù)據(jù)和真實數(shù)據(jù)的實驗驗證。
　　(i)仿真實驗:由于數(shù)據(jù)集僅有橫斷面HR圖像。因此，我們利用橫斷面圖像按照退化模型生成多幅LR仿真圖像進行實驗研究。不僅從視覺和量化評價兩方面對本文算法的重建結(jié)果進行評價。同時還對算法中涉及到的重要參數(shù)進行相關(guān)分析。
　　(ii)真實數(shù)據(jù)實

15、驗:選取數(shù)據(jù)集中不同數(shù)據(jù)不同相位下的冠矢狀面LR圖像，利用本文提出超分辨率方法重建，從視覺方面對重建結(jié)果進行比較評價。
　　實驗結(jié)果表明，在視覺評價方面，與全局POCS算法相比，本文提出的基于分塊的POCS算法能夠有效消除偽影重建出更加準確的圖像;與三次樣條插值算法和背投影(Back Projection，BP)算法相比，該方法所重建的HR圖像其邊緣和細節(jié)均得到顯著增強。對比基于單一尺度的算法，本文提出的基于圖像自相似性的多尺度稀