基于MongoDB的數(shù)據(jù)存儲與查詢優(yōu)化技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)數(shù)據(jù)量呈現(xiàn)爆炸性增長，海量數(shù)據(jù)的存儲和查詢給數(shù)據(jù)中心帶來了極大的挑戰(zhàn)。MongoDB作為一種新型的非關(guān)系數(shù)據(jù)庫，其靈活的數(shù)據(jù)存儲格式和高查詢性能使其得到廣泛應(yīng)用，但是MongoDB的存儲空間消耗較大，并且沒有重復(fù)數(shù)據(jù)的檢測和刪除機制，有可能浪費大量的存儲空間，降低數(shù)據(jù)庫存儲系統(tǒng)的性能。
　　重復(fù)數(shù)據(jù)檢測是通過比較數(shù)據(jù)指紋，判斷數(shù)據(jù)之間是否存在重復(fù)；在基于MongoDB實現(xiàn)海量數(shù)據(jù)的重復(fù)數(shù)據(jù)檢測和刪除技術(shù)時，數(shù)據(jù)指紋的查詢

2、可能成為性能瓶頸。對于海量數(shù)據(jù)的重復(fù)數(shù)據(jù)檢測場景，分析了樹型和哈希兩類主要的數(shù)據(jù)指紋查詢算法的特點，并對哈希算法中的一種高性能查詢算法布隆過濾器進(jìn)行了研究；針對已有布隆過濾器擴展性差的問題，提出一種增長型布隆過濾器查詢算法，并應(yīng)用于海量數(shù)據(jù)的重復(fù)數(shù)據(jù)檢測技術(shù)中。對MongoDB現(xiàn)有的文件存儲系統(tǒng)GridFS的存儲機制進(jìn)行改進(jìn)，增加數(shù)據(jù)塊指紋映射表，使用增長型布隆過濾器快速判斷數(shù)據(jù)塊指紋是否存在，實現(xiàn)數(shù)據(jù)塊的重復(fù)文件刪除技術(shù)。