遠程交互式多媒體系統(tǒng)及其在數字健康可視化中的應用.pdf

1、信息與通信技術的迅猛發(fā)展為當今的多媒體技術研究帶來了許多新課題。
　　 其中，交互式多媒體應用和交互式多媒體系統(tǒng)的設計與優(yōu)化對提升用戶體驗至關重要。一方面，交互式多媒體應用已經在人們的日常生活中日益普及，如游戲、教學、多媒體會議等。另一方面，用戶希望獲得的多媒體服務具有更豐富的內容、更高的視覺質量、更好的交互性、并可以被更方便的訪問。對于多媒體系統(tǒng)來說，更豐富的內容要求其具有更強的存儲、傳輸和處理能力；更高的視覺質量要求更高效的

2、多媒體壓縮、傳輸和處理算法；更好的互動性要求盡可能低的端到端延遲；而更方便的訪問則要求多媒體系統(tǒng)能夠適應不斷發(fā)展的異構客戶端設備進而融入用戶的日常生活中。因此，如何根據以上要求來設計和優(yōu)化交互式多媒體系統(tǒng)成為了我們面臨的困難和挑戰(zhàn)。
　　 本文從當前多媒體技術與計算設備的發(fā)展背景和趨勢出發(fā)，研究了先進的遠程交互式多媒體系統(tǒng)的體系結構設計和不同組成模塊的優(yōu)化技術。通過利用遠程計算、虛擬顯示、多設備協作等技術，極大的提升了遠程交互式

3、多媒體系統(tǒng)的用戶體驗，也擴展了交互式多媒體服務的應用領域。本文的具體研究內容及其創(chuàng)新之處主要包括：
　　 提出了一個統(tǒng)一的紋理壓縮方案。該方案基于顏色量化與定長編碼，對現有的各種源紋理格式進行硬件友好的紋理壓縮。它適用于高動態(tài)范圍紋理、低動態(tài)范圍紋理、透明度紋理等。特別地，針對不同的源紋理格式的特性，本文設計了多數據率的定長編碼壓縮算法，并且支持不同壓縮格式之間的快速轉化，從而可以滿足具有不同能力的渲染系統(tǒng)的要求。對于遠程交互式

4、多媒體系統(tǒng)，統(tǒng)一的紋理壓縮方案不僅能夠更好的支持在瘦客戶端設備特別是移動和手持設備上的用戶界面渲染合成，而且壓縮的紋理極大節(jié)省了后臺虛擬化模塊的存儲與處理開銷，從而提高了系統(tǒng)的容量和性能，可以為更多用戶提供內容更豐富的交互式多媒體服務。
　　 提出了針對二維圖像元素的壓縮與后處理算法。在本文提出的遠程交互式多媒體系統(tǒng)中，各種典型的交互式多媒體應用經過系統(tǒng)后臺的虛擬化模塊處理后，被表示為一個或多個二維圖像元素序列及交互控制命令流。

5、因此，本文設計了針對二維圖像元素的壓縮與后處理算法。首先，本文提出了對于混合圖像（如屏幕圖像）的實時壓縮與縮放算法，它基于對混合圖像的實時內容檢測，利用具有不同內容的圖像區(qū)域的不同壓縮特性進行自適應壓縮，并對相應的圖像區(qū)域進行內容自適應的后處理實現縮放操作。同時，本文還利用圖形處理器來進一步加速混合圖像的實時縮放。其次，針對另外的一類二維圖形元素，即高動態(tài)范圍圖像，特別是高動態(tài)范圍的醫(yī)學圖像，本文提出了基于感興趣取值的嵌入式位平面壓縮算

6、法。它利用格雷哥倫布編碼實現了支持感興趣取值可伸縮的漸進傳輸，同時可以精確估計傳輸中的截斷誤差。
　　 設計并構建了一個面向異構客戶端設備的交互式虛擬顯示系統(tǒng)。利用前面的紋理壓縮方案以及圖像元素壓縮與后處理算法，本文實現了基于瘦客戶端遠程計算以及多設備協作的遠程虛擬顯示系統(tǒng)。該系統(tǒng)構架由便攜式移動設備、可穿戴傳感器、個人區(qū)域和環(huán)境中的輸入輸出設備、以及遠程計算資源等組成。
　　 在此構架之上，后臺服務器端的虛擬化模塊，中

7、間層的傳輸與控制模塊，以及客戶端的合成與顯示模塊共同實現了高效的遠程交互式虛擬顯示。通過充分利用遠程的計算資源和異構的客戶端設備，本文提出的交互式虛擬顯示系統(tǒng)具有良好的移動性、交互性、以及計算與存儲性能，可以利用現有的瘦客戶端計算設備支持具有豐富用戶體驗的交互式多媒體應用。
　　 建立了一個新的遠程交互式多媒體服務，即以用戶為中心的遠程數字健康可視化服務。本文將提出的遠程交互式多媒體系統(tǒng)進一步專門化來支持不同的數字健康應用，利用

8、傳感器、客戶端設備、服務器協同工作。在典型的數字健康系統(tǒng)構架下，我們提出了對數字健康數據的三維虛擬人體表示方法，并將其應用于系統(tǒng)后臺服務器端的虛擬化模塊上。通過遠程虛擬顯示，各種不同的健康數據可以通過統(tǒng)一的虛擬人體可視化服務與使用異構客戶端設備的用戶實時交互。本文提出的基于遠程渲染與虛擬顯示技術的虛擬人體可視化方案可以被多種在線數字醫(yī)療服務（如癥狀查詢，健康狀況監(jiān)控，以及醫(yī)療系信息瀏覽等）使用，從而推動數字健康系統(tǒng)與服務的發(fā)展。