手持式增強(qiáng)現(xiàn)實(shí)神經(jīng)導(dǎo)航關(guān)鍵技術(shù)研究及其系統(tǒng)建立.pdf

1、神經(jīng)外科手術(shù)是治療各種腦部疾病最直接有效的方法，但同時(shí)也是難度最大的術(shù)種之一。它要求醫(yī)生不僅能夠準(zhǔn)確切除病灶，還要避免對(duì)周圍神經(jīng)、血管等正常組織造成損傷，神經(jīng)外科手術(shù)的成功與否很大程度上取決于術(shù)前入路計(jì)劃的準(zhǔn)確性和術(shù)中病灶定位的精確性。神經(jīng)導(dǎo)航系統(tǒng)(Image Guided NeurosurgerySystem，IGNS)以病人術(shù)前掃描的影像數(shù)據(jù)建立圖像引導(dǎo)空間，術(shù)中通過光學(xué)定位儀跟蹤手術(shù)器械并將它顯示在術(shù)前圖像上，醫(yī)生通過觀察圖像上虛

2、擬手術(shù)器械的位置來判斷真實(shí)手術(shù)器械同病人之間的相對(duì)位置關(guān)系，從而幫助醫(yī)生定位病灶位置并引導(dǎo)手術(shù)操作。IGNS系統(tǒng)通過術(shù)前準(zhǔn)確計(jì)劃手術(shù)入路和術(shù)中精確定位病灶，可以減小手術(shù)創(chuàng)傷、縮短手術(shù)時(shí)間以及提高手術(shù)質(zhì)量，已逐漸成為微創(chuàng)神經(jīng)外科手術(shù)中不可或缺的設(shè)備。
　　雖然IGNS系統(tǒng)能夠彌補(bǔ)傳統(tǒng)神經(jīng)外科手術(shù)方式的不足，但是現(xiàn)有導(dǎo)航系統(tǒng)都是將定位和引導(dǎo)信息顯示在系統(tǒng)屏幕上，醫(yī)生通過觀察導(dǎo)航屏幕上的圖像來進(jìn)行手術(shù)操作。臨床應(yīng)用表明這種導(dǎo)航模式存在以

3、下幾個(gè)嚴(yán)重缺陷:①導(dǎo)航信息與手術(shù)場(chǎng)景相分離。術(shù)中，醫(yī)生為了觀察手術(shù)器械相對(duì)于病人解剖結(jié)構(gòu)的位置，不得不在病人手術(shù)部位和導(dǎo)航屏幕之間來回切換視野，這不利于醫(yī)生將注意力集中于病人頭部進(jìn)行手術(shù)，會(huì)干擾手術(shù)進(jìn)程并加大導(dǎo)航定位誤差。②導(dǎo)航信息不易理解。醫(yī)生主要利用IGNS系統(tǒng)屏幕上顯示的疊加了探針位置信息的斷層圖像來進(jìn)行術(shù)中定位，而這些圖像并不能很好地反映出病人當(dāng)前體位，使得醫(yī)生不能直觀地理解真實(shí)手術(shù)場(chǎng)景中探針與實(shí)際病人解剖結(jié)構(gòu)間的空間位置關(guān)系，

4、造成IGNS系統(tǒng)的作用不能得到充分發(fā)揮。
　　這些問題主要是由于現(xiàn)有IGNS系統(tǒng)虛實(shí)分離的導(dǎo)航模式引起的，為了解決這些問題，需要把虛擬信息同真實(shí)手術(shù)場(chǎng)景融合起來，其中最關(guān)鍵的是從虛擬圖像中獲取腫瘤等病灶的位置信息并將其融入到真實(shí)手術(shù)場(chǎng)景中。本文圍繞上述問題展開研究，提出并建立了一種基于平板電腦的增強(qiáng)現(xiàn)實(shí)(Augmented Reality, AR)神經(jīng)導(dǎo)航系統(tǒng)，簡稱AR-IGNS，它可以將腫瘤等虛擬信息同真實(shí)的手術(shù)場(chǎng)景相結(jié)合，并將

5、導(dǎo)航信息顯示在可移動(dòng)的平板電腦屏幕上，在不需要醫(yī)生切換視野的前提下輔助醫(yī)生手術(shù)。新系統(tǒng)的成功實(shí)現(xiàn)依賴于基于平板電腦所建立的三種新的導(dǎo)航模式以及術(shù)前腫瘤圖像的準(zhǔn)確分割，具體研究內(nèi)容如下:
　　1、虛實(shí)信息結(jié)合下疊加圖像導(dǎo)航模式。這是AR-IGNS系統(tǒng)最重要的導(dǎo)航模式，主要利用AR技術(shù)將術(shù)前分割的腫瘤等病灶信息直接疊加顯示在平板電腦攝像機(jī)所拍攝的真實(shí)手術(shù)場(chǎng)景中。該導(dǎo)航模式主要通過空間配準(zhǔn)、目標(biāo)跟蹤和攝像機(jī)標(biāo)定三個(gè)過程將虛擬空間的圖像信

6、息變換到平板電腦屏幕上。首先，我們采用基于人工標(biāo)記點(diǎn)的空間配準(zhǔn)方法，通過奇異值分解法求解虛擬空間到現(xiàn)實(shí)空間的變換關(guān)系;其次，利用光學(xué)定位儀同時(shí)跟蹤病人、平板電腦和手術(shù)器械，獲得現(xiàn)實(shí)空間到平板電腦空間的變換關(guān)系;第三，利用世界坐標(biāo)系到觀察坐標(biāo)系的變換及基于棋盤格模板的標(biāo)定方法獲得平板電腦空間到平板電腦屏幕的投影關(guān)系;最后，綜合這三個(gè)變換，將虛擬空間中的圖像變換到平板電腦屏幕空間，從而在術(shù)中將分割出的腫瘤表面等信息疊加到真實(shí)的手術(shù)場(chǎng)景中，幫

7、助醫(yī)生定位腫瘤位置。該導(dǎo)航模式在平板電腦上實(shí)現(xiàn)虛實(shí)疊加，有效地解決了傳統(tǒng)導(dǎo)航系統(tǒng)中導(dǎo)航信息與手術(shù)場(chǎng)景相分離的問題。
　　2、虛實(shí)信息結(jié)合下截面圖像導(dǎo)航模式。這種模式利用AR技術(shù)將虛擬導(dǎo)航信息同真實(shí)手術(shù)環(huán)境相關(guān)聯(lián)，主要根據(jù)平板電腦和真實(shí)病人之間的相對(duì)位置關(guān)系，實(shí)時(shí)生成平板電腦所在平面與病人相交的截面的圖像，并將其顯示在平板電腦屏幕上進(jìn)行手術(shù)導(dǎo)航。具體地，首先將已分割出的病人腫瘤位置信息融合到原始數(shù)據(jù)當(dāng)中;然后利用光學(xué)定位儀實(shí)時(shí)跟蹤平

8、板電腦在現(xiàn)實(shí)空間中的位置并將其變換到虛擬空間去，通過對(duì)虛擬空間中融合了腫瘤信息的掃描數(shù)據(jù)進(jìn)行重采樣，得到平板電腦平面與圖像數(shù)據(jù)相交的截面圖像;最后將斷層圖像通過無線網(wǎng)絡(luò)傳輸技術(shù)傳輸?shù)狡桨咫娔X上顯示，從而輔助醫(yī)生進(jìn)行定位和導(dǎo)航。這種任意截面圖像導(dǎo)航模式，將斷層導(dǎo)航圖像與現(xiàn)實(shí)手術(shù)場(chǎng)景直接聯(lián)系起來，避免了醫(yī)生在導(dǎo)航屏幕和手術(shù)區(qū)域進(jìn)行大的視野切換，同時(shí)豐富了導(dǎo)航信息量并使導(dǎo)航定位信息更加容易理解。
　　3、虛實(shí)信息結(jié)合下的投影圖像導(dǎo)航模式

9、。這種導(dǎo)航模式同樣AR技術(shù)將虛擬導(dǎo)航信息同真實(shí)手術(shù)環(huán)境相關(guān)聯(lián)，根據(jù)平板電腦相對(duì)于真實(shí)病人的位置信息，生成圖像數(shù)據(jù)向平板電腦屏幕進(jìn)行虛擬最大密度投影的圖像，并將投影圖像顯示在平板電腦上進(jìn)行手術(shù)導(dǎo)航。對(duì)于血管造影等成像方式，最大密度投影（Maximum Intensity Projection，MIP）圖像可以清晰地顯示顱內(nèi)的血管信息，如果同時(shí)將其與病灶分割結(jié)果相結(jié)合，就可以顯示血管同病灶之間的相對(duì)位置關(guān)系，為腦血管相關(guān)手術(shù)的順利進(jìn)行提供方

10、便。通過對(duì)平板電腦位置的實(shí)時(shí)跟蹤，當(dāng)平板電腦的位置發(fā)生改變，其顯示屏上也能實(shí)時(shí)顯示相應(yīng)位置處的投影圖像。這種以平板電腦為可視化接口的MIP圖像導(dǎo)航模式，改變了傳統(tǒng)導(dǎo)航系統(tǒng)只能單純?cè)谙到y(tǒng)屏幕上顯示MIP圖像的問題，實(shí)現(xiàn)了虛擬導(dǎo)航信息與現(xiàn)實(shí)手術(shù)場(chǎng)景的融合。
　　4、虛擬圖像目標(biāo)分割算法的研究。根據(jù)腦圖像的特殊性和復(fù)雜性，我們將符合臨床需求的交互式隨機(jī)游走算法用于腦腫瘤的分割。醫(yī)生只需在任意術(shù)前圖像上簡單選取腫瘤及非腫瘤區(qū)域的種子點(diǎn)，隨

11、機(jī)游走算法即可自動(dòng)、精確地定位出腫瘤的邊界。通過在上述三種導(dǎo)航模式中顯示腫瘤的位置和邊界，AR-IGNS系統(tǒng)可以更好地在術(shù)中指導(dǎo)醫(yī)生切除腫瘤。
　　綜上所述，針對(duì)現(xiàn)有神經(jīng)導(dǎo)航系統(tǒng)虛實(shí)分離的導(dǎo)航模式中存在的問題，本文提出了基于疊加圖像、截面圖像和投影圖像的三種新的導(dǎo)航模式，以平板電腦為顯示設(shè)備利用AR技術(shù)實(shí)現(xiàn)了虛擬導(dǎo)航信息與現(xiàn)實(shí)手術(shù)場(chǎng)景的融合。同時(shí)采用基于隨機(jī)游走算法的交互式分割方法準(zhǔn)確分割出腦腫瘤，從而在虛擬導(dǎo)航信息中直觀準(zhǔn)確地顯

12、示腫瘤的位置。新的導(dǎo)航模式可以使醫(yī)生避免術(shù)中視野切換，并使導(dǎo)航信息更加容易理解，從而提高導(dǎo)航的精度和方便性，并確保醫(yī)生集中精力在手術(shù)部位進(jìn)行手術(shù)。我們對(duì)三種導(dǎo)航模式分別進(jìn)行了顱骨標(biāo)本試驗(yàn)和真實(shí)病例的臨床試驗(yàn)，驗(yàn)證了導(dǎo)航信息的準(zhǔn)確性和各種導(dǎo)航模式的臨床適用性。本文相關(guān)研究結(jié)果作為第一作者投稿SCI論文2篇，其中1篇已經(jīng)發(fā)表，1篇修回。另外，還發(fā)表國內(nèi)核心論文一篇，申請(qǐng)發(fā)明專利2項(xiàng)。本文建立的系統(tǒng)在第十五屆中國國際工業(yè)博覽會(huì)獲得高校展區(qū)優(yōu)秀