海量數據的劃分和查詢方法的研究.pdf

1、隨著網絡數據、生產數據等持續(xù)增加，形成大量的數據，這些數據給存儲和查詢帶來嚴峻的挑戰(zhàn)。但可憑借數據劃分方法將海量數據分塊分布存儲在多個機器中，這樣既能能解決單機器的存儲容量上限問題，也能通過先篩選分塊來縮小查詢目標數據的范圍，還可利用多機器協(xié)同查詢以提高數據查詢的效率。
　　本文為進行數據分塊存儲和查詢需要做一些初始化工作，例如基于機器性能和數據集特點，按機器個數和經驗設置數據區(qū)間；選擇被劃分數據對應的直角坐標到極坐標的轉化公式；

2、設計數據區(qū)間索引表，索引表不僅是數據劃分的依據，而且是查詢數據時數據篩選的依據，為了提高加權和 Top-K查詢的數據區(qū)間篩選效率，設計線索樹結構的索引表，為了提高一般查詢的數據區(qū)間篩選效率，設計簡單樹結構的索引表。本文基于直角坐標到極坐標的轉化公式來計算待劃分的數據相應的角度和距離值，并與存儲在索引表中的表示預設數據區(qū)間情況的角度和距離范圍比較，然后存儲在與此數據區(qū)間相對應的機器文件中。從而實現(xiàn)大數據量的文件以小數據量的文件的方式存儲，

3、即實現(xiàn)了數據的劃分。隨著被劃分的數據增多，當某個數據區(qū)間對應的文件存儲的數據量過大時，則采用數據區(qū)間分裂方法，把該數據區(qū)間劃分成幾份新的數據區(qū)間，并將原數據區(qū)間對應的文件中存儲的數據重新按角度和距離再次進行劃分到該分區(qū)下屬的新數據區(qū)內對應的文件中，同時修改數據區(qū)間索引表的分區(qū)信息。此外，基于本文的數據劃分存儲方法，給出加權和 Top-K和一般查詢的方法。先通過索引表找到所屬的數據區(qū)間所在的文件，再利用MapReduce任務對涉及到的文件