非完備幾何特征的測量建模與醫(yī)學應用研究-博士論文開題報告

1、2024/3/27,非完備幾何特征的測量建模與醫(yī)學應用研究,RE/RP Lab 計算機集成制造研究所,開 題 報 告,2024/3/27,一、研究背景與意義二、文獻綜述三、課題研究內(nèi)容四、擬采取的研究方法、技術路線五、已經(jīng)完成的工作六、研究的創(chuàng)新點七、計劃進度,,,匯 報 提 綱,2024/3/27,一.研究背景與意義,,由于疾病或其他原因造成的人體顏面缺損是屬于具有非完備幾何特征的數(shù)據(jù)。如何通過模型重建的技術得到具有

2、完備幾何特征的顏面數(shù)據(jù)，從而實現(xiàn)人體顏面贗復體的制作？,2024/3/27,,一.研究背景與意義,非完備幾何特征的測量建模在顏面缺損修復中的應用,對稱特征顏面 1)單側(cè)眼眶部缺損 2)單側(cè)顳窩缺損 3)單側(cè)顱面部缺損 4)單側(cè)上下頜面缺損 5)單側(cè)耳部缺損 6)單側(cè)鼻缺損,頜面贗復體的設計,人眼贗復體的設計1,問題1:在數(shù)據(jù)預處理時,如何實現(xiàn)多視角的數(shù)據(jù)的坐標歸一化?問題2:如何實現(xiàn)具有對稱特征的

3、非完備數(shù)據(jù)的幾何建模?,人眼贗復體的設計2,組織有變形,,,2024/3/27,,一.研究背景與意義,非完備幾何特征的測量建模在顏面缺損修復中的應用,非對稱特征顏面 1)全鼻缺損 2)全唇缺損 3)雙眼缺損,問題3：如何基于特征相似性來實現(xiàn)非完備數(shù)據(jù)的幾何建模?問題4：如何保證贗復體與周圍組織區(qū)域的貼合性及美觀性?,2024/3/27,,二.文獻綜述,,2024/3/27,,2.1 網(wǎng)格多視對齊技術,,(1

4、) 多視對齊給定: N個已實現(xiàn)粗拼合的視圖目標: 對其進行全局拼合,實現(xiàn)精拼合要解決的問題:1) 誤差逐步累積,如何分散;2) 大的計算量,如何減少計算;3) 大的存儲需求, 如何減少存儲;4)局部最小化,如何能達到全局最小化(2) 多視對齊算法綜述,順序?qū)R首尾視圖出現(xiàn)間隙,?斯坦福大學BROWN B(2007) ;Pulli（1999）:基于主視圖的思想,不同之處在于在進行多視對齊之前僅考慮所有的視圖間潛在的

5、對齊。評價：提取出視圖間的兩兩拼合的約束，避免將所有視圖都加入內(nèi)存；另外該方法僅考慮有重疊區(qū)域的信息，并允許已經(jīng)對齊的區(qū)域可以再次調(diào)整。 ?德國自主智能系統(tǒng)研究所Nüchter（2004）:提出了“simultaneous matching”，它與Pulli的方法的不同之處在于它不需要兩兩對齊的迭代過程 評價：這種方法依賴于要有的好的初始對齊結果。 3 同步對齊法：?Masuda（2002）:基于符號距離場同步對

6、齊和融合所有視圖 ,在迭代過程中去除外點 。工作原理是:第一步執(zhí)行一個粗對齊將所有的視圖都變換到同一個坐標系下；第二步執(zhí)行一個迭代過程使得數(shù)據(jù)形狀對齊融合至收斂。評價:好處是：所有視圖能夠同步對齊，誤差也不會產(chǎn)生累積。另外外點也能自動去除。 缺點是：由于多幅視圖同時對齊,不僅計算的復雜度會很大,而且占用的存貯空間也很大 。,1 順序?qū)R直接使用兩兩對齊的算法對N個視圖進行順序拼合。評價:兩兩拼合中會產(chǎn)生不均勻分配的錯誤,

7、因此會出現(xiàn)一對視圖有很高的拼合精度,而整個拼合系統(tǒng)達不到高的拼合精度的情況。 2 主視圖法?Chen and Medioni (1991):對齊兩個視圖,將它們?nèi)诤铣梢粋€主視圖,然后新的視圖又順序的對齊并融合為新的主視圖。評價：好處是融合后的主視圖所含的所有信息都能夠在新的對齊過程中被使用。 缺點是已經(jīng)融合到主視圖中的視圖，它是沒法再調(diào)整的。,2024/3/27,,2.1 網(wǎng)格多視對齊技術,,?Silva（2003）：提出用遺傳

8、算法替代基于ICP的方法 思想：引入一個新的健壯的度量surface interpenetration measure(SIM)（用于度量可視的對齊誤差來決定兩個視圖間的重疊面積），他們使用SIM和一個健壯的估計來實現(xiàn)遺傳算法。染色體是由三個平移矢量和三個旋轉(zhuǎn)矢量組成，每個染色體的SIM結果在每一代中被用來選擇能夠能夠生成更精確變換。評價：該方法能夠取得精確的結果，該方法最重要的缺點就是要收斂到一個好的結果，所需計算的時間太長 。

9、?法國克萊蒙第二大學E. Mouragnon（2007）：基于bundle adjustment方法實現(xiàn)實時的對齊和融合,同時最小化角度誤差。bundle adjustment通常用于求解視圖參數(shù)(如相機的位置和標定估計)它是一個非線性的最小化問題，對于它的求解通常需要非線性最小二乘法求解. 評價： bundle adjustment技術在出現(xiàn)外點時能提供好的結果，但需要好的初始估計，很少用于大的場景4 圖分析法 其主

10、要思想是利用視圖之間的關系。例如一些方法想法找到視圖間的最優(yōu)路徑來獲得一個精確的對齊；另外一些方法利用物體的部分被重新訪問來探測循環(huán)并在循環(huán)的視圖中分散誤差。,? Bergevin（1996）:被認為是這種方法的先驅(qū) 圖的創(chuàng)建方法如下：視圖與結點相聯(lián)系。邊代表變換兩個結點之間的路徑代表一系列變換。 Bergevin的方法是獲取一個很好平衡的網(wǎng)在網(wǎng)中1）視圖間的變換都有相似的誤差2）不同視圖之間有唯一的變換矩陣，不考

11、慮他們之間的路徑。當兩個非中心視圖的變換矩陣趨于相同時，算法收斂。? P. J. Neugebauer（1997）:提出了星形的拓撲，它與前面方法的主要不同之處在于使用Levenberg–Marquardt方法來最小化對應點之間的距離來調(diào)整變換矩陣。另一個重要的不同在于通過等級化的方法來降低計算量。Huber（2002）：算法分為兩步 1）局部對齊 2）全局對齊局部對齊的主要目標是創(chuàng)建一個“model graph”

12、,基于”spin image”計算所有可能的兩兩對齊 ;僅使用正確的兩兩對齊來進行全局對齊,最后用Neugebauer的方法來進行優(yōu)化.評價:該方法既不需要視圖位置以及視圖順序的知識,但是一旦一個不正確的匹配加到最終的圖上，全局模型就會不連續(xù)，導致重新開始全過程。,2024/3/27,,2.1 網(wǎng)格多視對齊技術,,?Sharp(2004)：對大場景且未知視圖方向的多視對齊進行了研究，為了降低計算負擔，將圖分解成一組環(huán)。 要點在于：

13、1）環(huán)的判別方法 環(huán)探測的復雜程度取決于視圖是無組織的還是順序的；2）不合格兩兩對齊的判別方法；3）環(huán)內(nèi)及環(huán)間的誤差分散方法。? HouFei (2009)：為了剔除錯誤的兩兩對齊，在判斷環(huán)的問題上提出一致性環(huán)的概念。所謂一致性環(huán)即環(huán)中所有的變換都是近似單位陣變換，這樣的一致性環(huán)中沒有錯誤的兩兩對齊。評價：這種方法的缺點在于要求過于嚴格，可能會將合格的兩兩對齊排除在外，僅適合于粗對齊有很好的結果的場合。 ?Matabosch

14、 (2008)：探測環(huán)的方法： 如果視圖是順序拍攝的,如手持攝像儀,如果前后兩個視圖間的平移矢量(或旋轉(zhuǎn)矢量)小于一定的閾值,同時這兩個視圖又不是相鄰的那就可以判定是一個環(huán).簡化的方法:利用兩個視圖的包圍盒在XY,YZ,XZ方向上的投影來確定重疊區(qū)域,如果三個重疊區(qū)域都超過了給定的閾值,且兩包圍盒中心足夠小, 那就可以判定是一個環(huán)。,（3）文獻總結,現(xiàn)有的多視對齊技術存在的主要問題:(1) 主視圖法: 兩兩拼合如果誤拼合

15、，會影響全局拼合的效果。(2) 同步對齊法：無法降低大的計算量。(3) 圖方法：瓶頸在于如何有效的探測環(huán)。,2024/3/27,,2.2 具有對稱特征的非完備數(shù)據(jù)的幾何建模技術,,2.2.1非完備幾何特征的定義及分類,(1)非完備幾何特征的定義,(4)非完備幾何特征的分類,在測量操作前因外力作用或在測量過程中因掃描設備場景的限制或被測物體的遮擋等原因引起的構成產(chǎn)品模型的低層幾何體素及其構造特征,如點,線,面出現(xiàn)缺失或變形等偏離物

16、體原貌的情況,稱為非完備幾何特征。,(2)非完備幾何特征的測量建模過程,非完備幾何特征的測量建模過程就是試圖通過軟件或硬件的手段恢復物體原貌的過程。,1 測量前階段（即用來測量的物體就是非完備的）如缺齒的齒輪；做了器官摘除手術的病人；受到擠壓變形的古化石2 測量階段 （由于測量手段或物體的復雜性（如內(nèi)凹）引起的）,(3)非完備幾何特征的產(chǎn)生階段,1 按照非完備類型分： 1）缺損 2）

17、變形2 按照產(chǎn)生階段分： 1）原始非完備 2）測量非完備3 按照非完備的范圍分： 1）小區(qū)域 2）大范圍4 非完備幾何特征的性質(zhì)分： 1）平面 2）二次曲面 3）自由曲面如機械產(chǎn)品很多是規(guī)則曲面；而人臉等是自由曲面,(5)非完備幾何特征的測量建模的應用,1 受到擠壓變

18、形的古化石,恢復其原貌;2 做了器官摘除手術的病人需要做贗復;3 動畫設計4 利用已有的數(shù)據(jù)進行創(chuàng)造性設計,2024/3/27,,2.2 具有對稱特征的非完備數(shù)據(jù)的幾何建模技術,,2.2.2 對稱面或近似對稱面的求解方法,,1)輪廓線法?金濤( 2003):,評價:該方法采用的對稱特征是二維空間折線，需在測量階段對特征線作標記，增加了數(shù)據(jù)測量的難度和工作量；另外，特征線上所含數(shù)據(jù)點的數(shù)量有限，難以通過統(tǒng)計方法減小誤差。,202

19、4/3/27,,2.2 具有對稱特征的非完備數(shù)據(jù)的幾何建模技術,,,,2)局部形狀匹配法?紐約州立大學的Jianning Wang (2002): 利用3D Hough 變換將點云分為平坦區(qū)域和特征區(qū)域，對于特征區(qū)域進行聚類，然后對特征點對進行取中心點，多個中心點擬合成中心對稱面。,評價:優(yōu)點：局部形狀匹配法是將三維空間域的問題轉(zhuǎn)化為二維平面域的圖像問題,是一種降維的處理方法。缺點：存儲需求量大，因為需要轉(zhuǎn)換；求取對稱面的精度

20、不高，適用于復雜物體的多個對稱面的求取。,?斯坦福大學的Niloy J. Mitra (2006): 匹配” local shape signature”局部形狀簽名對,使用這些匹配來累積得到近似的對稱面 。第一階段: 我們計算一個簡單的局部形狀描述器第二階段: 我們使用隨機聚類算法mean shift clustering,對每個點,計算一個局部形狀簽名,如果簽名值相似,則這兩點為一對點,點對之間可以計算一個中心點, 眾多中

21、心點累積得到近似的對稱面。,2024/3/27,,2.2 具有對稱特征的非完備數(shù)據(jù)的幾何建模技術,,3)ICP方法?南京航空航天大學 的張麗艷( 2006)：提出用ICP迭代方法來獲取健康人臉的對稱面,利用去掉裙邊的數(shù)據(jù)求取人臉最優(yōu)鏡面,1首先使用PCA(主軸分析)來確定鏡面的最近似的位置,獲取初始鏡面 ;2通過初始鏡面的鏡像獲取它的初始鏡面;3對原始數(shù)據(jù)和初始鏡像面去除掉裙邊的數(shù)據(jù)進行基本ICP精對齊。除掉裙邊的目的是保證初始

22、鏡像數(shù)據(jù)是原始數(shù)據(jù)的子集,從而滿足基本ICP收斂的要求;4 將對齊后的對應點連線的中點擬合成最小二乘平面,這就是所要求的最佳鏡面。優(yōu)點：該方法是采用的基于優(yōu)化理論的ICP算法，它通過迭代的方法找求最佳對稱平面特征,能達到較高的精度。缺點：1初始對齊的位置對算法的收斂精度有影響；2如何有效地去除假的對應關系是保證算法健壯性的瓶頸所在。,原始數(shù)據(jù),初始鏡像,粗對齊,去掉裙邊的初始鏡像,去掉裙邊的原始數(shù)據(jù),文獻總結：對于健康人臉的

23、對稱面獲取,利用張麗艷的去掉裙邊,然后使用基本ICP對齊方法是能夠得到較好精度的對稱面, 但對于需要贗復的病人,他的數(shù)據(jù)是帶有缺損信息的,不滿足基本ICP收斂的要求, 其結果是不理想的。因此我們需要著力解決的是如何有效地去除ICP對齊中假的對應關系,從而保證該方法在臨床使用的穩(wěn)定性.,病人原始數(shù)據(jù),初始鏡像,病人臉面最優(yōu)鏡面,2024/3/27,,2.3 基于特征相似性的非完備數(shù)據(jù)的幾何建模技術,,(1) 問題求解的思路

24、利用外部的信息來輔助獲取非完備區(qū)與完備區(qū)拓撲關系(2) 研究現(xiàn)狀,1 構建人體特征模板,2利用模板實現(xiàn)頭部缺損區(qū)的填充,1)利用設備投射光線的信息?Davis, Marschner, Garr, Levoy( 2002)：測量殘缺是因凹陷的幾何形狀致使測量手段難以到達所致，故通過光滑插值于殘缺邊界的等值面修復殘缺區(qū)域幾何形狀，并在修復過程中考慮到殘缺鄰域幾何的遮擋。算法由模糊與組合交替進行。,2)基于模板的方法?Allen

25、, Curless, Popovic (2003)?Kraevoy ，Sheffer (2005)：第一步：根據(jù)人體的數(shù)據(jù)構建參數(shù)化的模板,然后利用模板進行參數(shù)設置,第二步：與缺損數(shù)據(jù)進行對齊來進行缺損區(qū)的填充。,評價： 優(yōu)點：能夠利用設備投射光線的信息，實現(xiàn)殘缺區(qū)域的光順填充；缺點：需要已知設備的信息。,評價：優(yōu)點：能夠基于特征參數(shù)構造臉部輪廓曲線，可以整體G‘連續(xù)的B樣條曲面表示人體模型；缺點：需進行參數(shù)化定義，適用基

26、本相似特征的數(shù)據(jù)。,無光線約束,有光線約束,無光線約束,有光線約束,初始化,迭代,在對齊過程中考慮：1 對應點對距離誤差2 平滑誤差3 標記點誤差,2024/3/27,,2.3 基于特征相似性的非完備數(shù)據(jù)的幾何建模技術,,基于例子的缺損區(qū)構建的技術路線,3)基于例子的方法 ?斯坦福大學的Mark Pauly, Niloy J. Mitra( 2005)：從數(shù)據(jù)庫中檢索合適的上下文模型,扭曲上下文模型來符合輸入數(shù)據(jù),兩者貼

27、合設計來達到最終完整的數(shù)據(jù)。,1模型搜索利用紋理搜索和形狀搜索融合的搜索方法從數(shù)據(jù)庫中提取一個模型(上下文模型),該模型能夠提供所需的缺損區(qū)域的信息； 2 模板模型非剛性對齊基于變形和形狀誤差的懲罰函數(shù)計算和評估原有模型與上下文模型的對齊后的局部形狀變形；,評價優(yōu)點：利用原有的數(shù)據(jù)庫模型的信息，經(jīng)過非剛性變換，使得一個不完備的數(shù)據(jù)構建成一個完整的幾何模型，降低了模型處理的復雜度。缺點：需要有合適的數(shù)據(jù)庫模型。,3模板模型與現(xiàn)有模

28、型融合基于重疊區(qū)的處理算法將原有模型與從上下文模型得到的幾何信息融合為一個完整和一致的模型。,變形度量,幾何誤差,綜合誤差,文獻總結：,未考慮模板模型的非剛性部分對模型搜索的影響；未考慮模板模型非剛性匹配存在約束的情況 ；,存在問題：,2024/3/27,,2.4 贗復體與周圍組織的幾何及紋理的光順技術,2.4.1 過渡曲面光順技術,,(1) 問題的提出: 贗復體與缺損區(qū)組織面需要進行貼合,需要構造三角網(wǎng)格的過渡曲面，實現(xiàn)光順過

29、渡。(2) 過渡曲面的定義: 過渡曲面(blending surface)就是光滑地把兩個或多個曲面連接起來的中間曲面, 被連接的曲面稱之為基曲面。,(3) 曲面光順準則(馬利莊,石教英,1996) 1）關鍵曲線（如飛機的骨架線）光順； 2）網(wǎng)格線無多余的拐點（或平點）及變撓點； 3）主曲率在節(jié)點處的躍度和足夠??； 4）高斯曲率變化均勻。,(4) 研究現(xiàn)狀 1)神經(jīng)網(wǎng)絡方法 (徐立亞,1999;熊邦書 ,200

30、3;蔣剛 ,2009)原理：通過空間映射獲得3 個方向的二維坐標,利用神經(jīng)網(wǎng)絡方法獲得過渡區(qū)域的三維坐標 。評價:優(yōu)點:不需要表面知識和確切的數(shù)學函數(shù)描述，只需要測得表面的有限點數(shù)；缺點:1)需要大數(shù)據(jù)量；2)速度不快 。2)能量法；Terzopoulo ( 2004) ：把在基曲面上過渡切觸線及其在基曲面上的法矢和其他邊界線作為約束，采用基于物理的曲面造型技術，來生成過渡曲面。,3)基于周邊信息;陳志楊( 2005)：通過引

31、入平均誤差及平均曲率影響因子,自動計算出過渡曲面影響區(qū)域,進而利用影響區(qū)域內(nèi)的數(shù)據(jù)構造連續(xù)曲面并計算出過渡區(qū)域數(shù)據(jù)點。評價：優(yōu)點：能夠與周邊區(qū)域光順過渡；缺點：需要確定影響區(qū)域的位置。 4）傘形操作子的迭代Hongbo Fu（2007）：建立兩個網(wǎng)格邊界之間的對應關系，建立初始三角化，然后用傘形操作子進行新建三角網(wǎng)格及周邊的平滑處理。,評價：優(yōu)點：能保證過渡曲面在拼接處與原曲面具有二階幾何連續(xù)性。 缺點：應用范圍受

32、限制，一般適合管狀之間的過渡。,,,贗復體與缺損區(qū)組織面之間形成的空隙需要光順填充,2024/3/27,,2.4 贗復體與周圍組織的幾何及紋理的光順技術,2.4.2 紋理光順技術,(2) 研究現(xiàn)狀 1)基于特征點的映射方法?R.Kurazum(2008)：從自動抽取模型表面的三維邊緣特征入手，進行特征對應尋找。將紋理圖像映射到三維點上。 評價：該方法僅需將紋理圖像與三維點云的特征點對應起來即可實現(xiàn)紋理映射；但缺點在于特征點

33、的準確性直接影響紋理映射變形程度。 2) 基于分塊組合的方法 ?趙向陽 (2004):選擇三幅正交的人臉圖像,根據(jù)每張人臉圖像只能提供一部分清晰無冗余的紋理,保留清晰有用的紋理和剔除冗余紋理；最后再對各模型塊交接處進行顏色平滑過渡。 評價：該方法僅需對需要過渡部分進行處理；但缺點在于1）它要求有三幅正交的人臉圖像，這樣的條件并不總是能夠滿足； 2）過渡區(qū)域大小選擇,以及合成權值的設定都會影響最終融合圖像的質(zhì)量。,(1) 紋理光

34、順的目標 1)不會出現(xiàn)明顯的接縫現(xiàn)象 2)盡量降低生成圖像與原始圖像的失真度,3)搜索最優(yōu)縫合路徑的方法 ?李笑嵐 ( 2006):通過小波分解技術將原始圖像集合分為2類:邊緣圖和平滑圖,對邊緣圖像采用圖像縫合法進行拼接,提出了在部分紋理圖表面搜索最優(yōu)縫合路徑的方法。對平滑圖像采用多尺度融合法拼接。評價： 優(yōu)點在于在消除接縫的同時能夠最大限度地保存圖像原有的細節(jié)信息；缺點是文中使用的柱面展開法只適合于形狀較為簡單

35、的模型。,4)重疊區(qū)設置權重的方法 ?丁雅斌, ( 2008) :設計的三維光學數(shù)字成像系統(tǒng)可以同時采集物體在同一個方向的深度圖像和與它精確對應的紋理圖像。對于重疊區(qū)的紋理采用權函數(shù)的設定方法。 評價：優(yōu)點是在深度圖像合成的同時進行紋理圖像的融合； 缺點是權值是人為設定，無法保證紋理的平滑過渡。,5)用顏色梯度場的方法 ? Ming Chuang (2009); Su MS ( 2004); Levin A (2004)原理：

36、首先通過在每個視圖上添加顏色梯度獲取一個描寫紋理細節(jié)變化的顏色梯度場，然后求解梯度場的泊松方程,得到能夠最佳擬合梯度變化的顏色場,將顏色場映射到幾何模型上。 評價：可以得到一個無縫的紋理表面；保證紋理的平滑過渡。缺點是需要增加顏色梯度場的計算。,2024/3/27,,,,文獻綜述結論,2024/3/27,,三.研究內(nèi)容,,1．網(wǎng)格多視對齊技術研究（1）基于柵格結構探測環(huán) （2）環(huán)內(nèi)及環(huán)間的誤差分散處理 （3）補測數(shù)據(jù)的誤差

37、分散處理 2．具有對稱特征的非完備數(shù)據(jù)的幾何建模技術研究（1）測量數(shù)據(jù)幾何特征非完備性的定義及分類（2）基于M估計的健壯性ICP算法的對稱特征模型構建方法（3）基于糾正局部變形的對稱特征模型構建方法3．基于特征相似性的非完備數(shù)據(jù)的幾何建模技術研究（1）基于健壯區(qū)域的特征相似性的數(shù)據(jù)搜索技術（2）基于約束的非剛性的模板模型映射技術4．贗復體與周圍組織的幾何及紋理光順技術研究（1）面結構光點云的數(shù)據(jù)特點（2）

38、基于雙傘形運算的過渡曲面光順技術（3）基于顏色梯度場最佳擬合的紋理光順技術5．支持顏面缺損修復的軟件架構及其應用流程（1）軟件開發(fā)平臺及關系結構 （2）空間拓撲結構 （3）軟件數(shù)據(jù)結構的UML描述 （4）系統(tǒng)應用流程,3.1 研究內(nèi)容,2024/3/27,,三.研究內(nèi)容,,在對非完備幾何數(shù)據(jù)的特點分析的基礎上，研究利用已有信息的特點來恢復缺損區(qū)數(shù)據(jù)信息的方法。 以顏面整形和缺損修復為應用背景,針對醫(yī)學上對快

39、速非接觸無損測量和逼真建模新技術的需求,開發(fā)相應的模型構建和處理的軟件工具，最終形成一套高度集成的具有臨床應用價值的顏面缺損修復的CAD系統(tǒng)，同時開展臨床應用。,3.2 研究目標,3.3 預期成果,形成國內(nèi)第一套具有自主知識產(chǎn)權的人體顏面數(shù)據(jù)快速獲取與逼真建模系統(tǒng)(逼真建模部分)編制一套人體顏面數(shù)據(jù)快速獲取與逼真建模CAD系統(tǒng)軟件,2024/3/27,,四.技術路線,,,總體技術路線,2024/3/27,,四.技術路線,,,2024/

40、3/27,,1.網(wǎng)格多視對齊技術,,1.1 融合圖分析及主視圖法的多視對齊算法,1)基于柵格結構探測環(huán),通過Hash 數(shù)據(jù)結構基于柵格來尋找重疊視圖,重疊程度與所設定的閾值比較來確定是否是合格的兩兩對齊，從而實現(xiàn)環(huán)的有效探測。,2)環(huán)內(nèi)及環(huán)間的誤差分散處理 A 環(huán)內(nèi)誤差分散算法,B 環(huán)間誤差分散,,視圖重疊程度偏差顯示圖,兩個視圖在法線方向的距離:綠色: -0.3—0.3mm; 藍色:-0.3— -1.2mm;黃色: 0.

41、3— 1.2mm; 灰色表示為單一視圖.由圖可見,綠色占絕大部分.少部分藍色和黃色是因為邊緣數(shù)據(jù)不準確.對齊效果滿足使用要求.,融合圖及主視圖法的多視對齊流程圖,,最終效果圖,3)補測數(shù)據(jù)的誤差分散處理,補拍多幅視圖來補償細節(jié)部分的孔洞 1)一個結點上增加多個結點。2)兩個結點之間出現(xiàn)一個結點,形成一個環(huán),出現(xiàn)了嵌套環(huán)的情況。,,解決方案:1) 以?為主視圖,??按照主視圖法進行誤差分散;2)以??為主視圖, ?按照主視圖法

42、進行誤差分散。,回答問題1: 在數(shù)據(jù)預處理時,如何實現(xiàn)多視角的數(shù)據(jù)的坐標歸一化?,2024/3/27,,2.具有對稱特征的非完備數(shù)據(jù)的幾何建模技術,,2.1 基于M估計的健壯ICP的對稱 特征模型構建方法,求對稱面的問題就轉(zhuǎn)化為如何健壯地獲取ICP迭代的問題。,帶有缺損信息的數(shù)據(jù)的健壯ICP算法,由于相對于缺損區(qū)的完好區(qū)數(shù)據(jù)在迭代過程中是找不到正確的對應點的,因此必須采取方法,對迭代過程中建立的臨時對應點對的真?zhèn)芜M行判斷.去

43、掉可信度低的對應點對，以保證收斂的連續(xù)性和準確性。,對應論文：A CADCAM System for Fabrication of Facial Prosthesis, Rapid Prototyping Journal , (2011-Jun-17,vol 17 issue4)SCI檢索,,,,在精度和速度上都優(yōu)于其他方法!,使用洛倫茲函數(shù)作為M估計，,,重新定義對齊問題如下：給定一組對應點對,共軛梯度搜索實現(xiàn)下式最小化,,,,試驗

44、:不同算法獲取的鏡像面與標準鏡像面偏差,回答問題2:如何實現(xiàn)具有對稱特征的非完備數(shù)據(jù)的幾何建模?,2024/3/27,,2.具有對稱特征的非完備數(shù)據(jù)的幾何建模技術,,2.2 基于糾正局部變形的對稱特征 贗復體模型構建方法,對應論文：基于糾正局部變形的對稱特征贗復體模型的構建（待投）,問題的解決方案(要解決變形的方向/變形的程度/變形的方法),如右圖所示，一個需要進行頜面贗復的患者，由于頜面摘除手術與頜面贗復手術的時間相隔較長，

45、受缺損部位收縮的牽引，口腔部軟組織已出現(xiàn)了明顯的偏移現(xiàn)象，因此要對該患者進行頜面贗復體制作時，需要先將口腔部的局部變形先糾正過來，然后再按照2.1的方法進行贗復建模，否則就會出現(xiàn)歪嘴之類的不美的顏面外觀。,第一步 探求額頭及眼區(qū)的對稱面H（帶有法向n);第二步 交互地選取鼻根,人中以及嘴角;第三步 將鼻根,人中形成的平面與額頭及眼區(qū)的對稱面重疊;并得到新的嘴角位置,在移動過程中保證AB、BC的長度不變，且AB垂直于對稱面。<

46、-變形的方向/變形的程度第四步 嘴區(qū)的其余點數(shù)據(jù)按照基于彈性化的棱柱剛體的方法進行變換;<-變形的方法第五步 在糾正了局部變形后的臉面上按照2.1的方法進行頜面贗復體的設計。,回答問題2:如何實現(xiàn)具有對稱特征的非完備數(shù)據(jù)的幾何建模(有局部變形)?,2024/3/27,,3.基于特征相似性的非完備數(shù)據(jù)的幾何建模技術,3.1基于模板模型非剛性匹配的模型 構建方法,(1)基于健壯區(qū)域的特征相似的數(shù)據(jù)搜索,(2)

47、基于約束的非剛性的模板模型映射,基于模板模型非剛性匹配的模型構建流程圖,1）首先進行數(shù)據(jù)分割 A 基于平均曲率圖的方法提取出鼻區(qū) B 排除掉臉部的非剛性區(qū)域,對應論文：Model Retrieval and Template Guided Construction of Nosal Prosthesis（待投）,回答問題3：如何基于特征相似性來實現(xiàn)非完備數(shù)據(jù)的幾何建模?,,,2）構建數(shù)據(jù)庫3）相似性度量,1）剛性

48、對齊來確定配體鼻在患者數(shù)據(jù)上的位置2）基于約束的非剛性對齊實現(xiàn)鼻形態(tài)調(diào)整 A 滿足約束 A1第一步剛性變換所帶來的約束 A2對稱面兩邊的數(shù)據(jù)變化應該是相同的,不過方向相反 A3 與人臉垂直方向縮放的基準面是配體鼻的底面 B 誤差表達 B1 位置誤差 B2 變形誤差 C 最優(yōu)化方程,,,截面線光順性的檢驗,間隙檢驗,截

49、面線/切向偏差/曲率,2024/3/27,,4.贗復體與周圍組織的幾何及紋理光順技術,,4.1融合雙傘形運算和顏色梯度場最佳擬合的幾何及紋理光順技術,基于最佳擬合的顏色梯度場的紋理融合流程圖,對應論文：Smooth and Texturing Blending Surfaces for Marginal Area ofFacial Prosthesis adjoined to Surrounding Tissue,回答問題4：如何保

50、證贗復體與周圍組織區(qū)域的貼合性及美觀性?,,1 面結構光點云的數(shù)據(jù)特點,2 幾何光順 首先對產(chǎn)生的間隙進行三角化填充，然后運用雙傘形運算進行網(wǎng)格平滑。,3 紋理光順,,,,點云與像素的一一對應的關系,,網(wǎng)格點P的傘形運算示意,2024/3/27,,五、已經(jīng)完成的工作,,5.1 已完成的研究點1 融合圖及主視圖法的多視對齊算法 2 基于M估計的健壯ICP的模型構建方法 3 基于糾正局部變形的對稱特征贗復體模型構

51、建方法 4 基于模板模型非剛性匹配的模型構建方法 5 融合雙傘形運算和顏色梯度場最佳擬合的幾何及紋理光順技術5.2 參加的科研項目 1 上海市信息化專項資金項目 基于三維視覺測量的顏面缺損修復CAD系統(tǒng)的開發(fā)及其應用推廣（2006-13） 2 上海市科委科技攻關項目 人體顏面數(shù)據(jù)快速獲取與逼真建模技術及其醫(yī)學應用研究

52、(08511501100) 3 上海市科委制造業(yè)信息化專項 基于點云數(shù)據(jù)的復雜型面產(chǎn)品制造幾何精度評定方法與系統(tǒng)開發(fā)(08DZ1121200),2024/3/27,,五、已經(jīng)完成的工作,,,5.3 取得的知識產(chǎn)權 （1）專利 [1]習俊通，孫進，熊耀陽，陳曉波等，基于三維視覺測量的對稱特征顏面贗復體制備方法，中國，發(fā)明專利，（授權號ZL200810038840.1,授權公告日2

53、010.08.18） [2]習俊通、孫進、熊耀陽、陳曉波等,基于三維視覺測量的非對稱特征顏面贗復體制備方法,中國，發(fā)明專利, (申請?zhí)朲L200810038841.6,公開公告日2008.10.29)（2）發(fā)表論文[1] Jin Sun, Xiaobo Chen, Juntong Xi,Yaoyang Xiong,A CADCAM System for Fabrication of Facial Prosthesis, Rapi

54、d Prototyping Journal , (2011-Jun-17,vol 17 issue4)SCI檢索[2][2] Jin Sun, Xiaobo Chen, Juntong Xi, Integration of Precise Mid-facial Plane Model with Realistic Visualization Techniques for Developing Ocular Prostheses, G

55、ESTS International Transactions on Computer Science and Engineering, 錄用[3] Jin Sun, Xiaobo Chen, Juntong Xi, Triangular mesh generation for areal-structure scan data in 3D space ,2011 Third International Conference on M

56、easuring Technology and Mechatronics Automation, EI檢索,ISTP檢索, 錄用[4] Chen Xiaobo, Sun Jin ,Xi Juntong, Development of a 3D Optical Measurement System based on Fringe Projection for Facial Prosthesis,2011 IEEE Interna

57、tional Instrumentation and Measurement Technology Conference, EI檢索,ISTP檢索, 錄用（3）軟件登記[1] 基于三維視覺測量的顏面缺損修復CAD系統(tǒng) V1.0 登記號：2009SR07640[2] 人體顏面快速高精度三維測量和逼真可視化建模系統(tǒng) V1.0 2010.12.14 通過上海市軟件評測中心的軟件成果鑒定,2024/3/27,,六

58、、研究的創(chuàng)新點,,1 網(wǎng)格多視對齊技術 融合圖分析及主視圖法的多視對齊算法解決補測數(shù)據(jù)的誤差處理問題 2 具有對稱特征的非完備數(shù)據(jù)的幾何建模技術 1）基于M估計的健壯ICP算法解決數(shù)據(jù)缺損的對稱特征模型構建 2）基于糾正局部變形的對稱特征模型構建 3 基于特征相似性的非完備數(shù)據(jù)的幾何建模技術 1）基于人臉健壯區(qū)的模型搜索 2）基于約束的模板模型非剛性匹配的模型構建 4 贗復