基于HDFS的時空數據共享與查詢隱私保護的研究與實現.pdf

1、伴隨著科技的發(fā)展，社會生活的信息化程度不斷提高，在每天的生產生活中都會產生大量的數據，如何有效地存儲并查詢這些數據對未來的生產生活有重要意義。近年來云計算與云存儲的興起為海量數據的存儲與查詢提供了更有效地解決方法，越來越多的應用開始向云端遷移。本文依托于“海洋環(huán)境信息計算與服務體系框架”的國家海洋公益項目。針對國家海洋局中海量時空數據存儲分散與管理復雜的特點，本文研究實現了基于HDFS的時空數據共享系統(tǒng);針對保護用戶時空信息查詢隱私的研

2、究目標，本文實現了時空數據的查詢隱私保護算法。
　　基于HDFS的分布式文件共享系統(tǒng)的框架分為三層:基礎層、接口層、服務層?；A層使用Apache MINA、Java、Mysql、HDFS實現，四者分別負責消息通信、數據傳輸、用戶信息存儲、數據存儲功能。接口層負責管理基礎層資源并向服務層提供服務接口，該層分為數據傳輸模塊、用戶管理模塊、文件管理模塊三個模塊。服務層負責系統(tǒng)的業(yè)務邏輯處理，該層解析用戶消息并調用接口層模塊提供的服務執(zhí)

3、行用戶請求。本系統(tǒng)為每個用戶指定存儲空間，多個用戶可以共用同一存儲空間，同時共享里面的文件。
　　海洋局存儲著海量時空信息，現有的隱私查詢算法在進行查詢時效率較低，針對這種不足本文提出了空間最近鄰與空間范圍隱私查詢算法。本文在CPIR-V算法的基礎上提出了SCPIR-V算法，該算法通過尋找潛在最近鄰點集的關系來壓縮計算矩陣，從而減少查詢時的計算代價與通信代價，該算法可以在服務端無法獲取查詢位置的前提下向用戶返回包含最近點的空間信息

4、。通過對比試驗可以看出SCPIR-V算法在高斯分布與真實數據下可以提高查詢性能，在均勻數據下算法查詢性能在網格劃分較多時較好。本文將CPIR算法應用到空間范圍查詢中，并在樸素的空間范圍查詢算法的基礎上提出了基于分組的空間范圍查詢算法。實驗結果表明基于分組的查詢算法的通信代價沒有顯著增長，而服務端與客戶端計算性能優(yōu)于樸素查詢算法。
　　海洋數據中的時間信息會隨著數據的采集不斷的增長，現有的隱私數據查詢技術無法滿足用戶需求，為此本文提

5、出了基于CPIR的時間信息隱私查詢算法與時間范圍隱私查詢算法。本文分析了時間信息的基本特征，通過改進樸素時間插入算法提出了基于動態(tài)調整的時間插入算法與基于動態(tài)哈希的時間插入算法。算法通過設置數據集的數目與排列方式使服務端無法判斷查詢內容與查詢結果。最后本文將三種算法應用到時間范圍查詢中。本文對三種算法進行了實驗，當對單一時刻進行查詢時，動態(tài)哈希算法效率較高;進行范圍查詢時，在客戶端計算時間與通信代價并不顯著增加的情況下，動態(tài)哈希算法服務