基于HBase的大數(shù)據(jù)存儲查詢技術研究.pdf

1、在現(xiàn)在的大數(shù)據(jù)平臺上，對非結構化數(shù)據(jù)的存儲需求越來越大，對其數(shù)據(jù)的讀寫性能要求也越來越高，傳統(tǒng)技術無法滿足這些要求。因此本文對大數(shù)據(jù)處理技術進行研究，選取了以Hadoop為平臺的HBase數(shù)據(jù)庫，在HBase的自身之上優(yōu)化了數(shù)據(jù)存儲系統(tǒng)并拓展了二級索引的功能。
　　針對HBase的數(shù)據(jù)存儲系統(tǒng)，它在導入商品圖片、視頻信息等這些大對象時，出現(xiàn)嚴重延遲現(xiàn)象。因此本文對這種情況進行了分析，并設計了存儲大對象的存儲架構。該框架將大對象數(shù)據(jù)

2、隔離存儲在 HDFS上，回避 HBase本身的Split和Minor Compaction的機制，減少對HBase中其它數(shù)據(jù)的讀寫影響，然后把存儲的文件地址更新到 HBase大對象列族中，實現(xiàn)大對象的快速查詢，接著對大對象數(shù)據(jù)的列族定制了Flush機制與Compaction機制，以實現(xiàn)對大對象的管理維護。通過對改進的HBase與HBase自身的性能對比，改進的HBase在插入數(shù)據(jù)時，每條記錄僅耗時毫秒級時間，且狀態(tài)很穩(wěn)定，在讀取速度上也

3、提高了2倍，充分滿足了線上實時性的需求。
　　本文另一重點是為HBase拓展了二級索引。由于HBase只支持基于主鍵的查詢，當用戶不知主鍵査詢數(shù)據(jù)時，只能通過全表掃描來獲取數(shù)據(jù)，這種方式效率很低，無法滿足實時査詢需求。針對這一缺點，本文拓展了二級索引功能。它的實現(xiàn)思想是把建立二級索引的任務分布到各個服務端上，同時保證索引表與對應的主表存儲在同一個服務器上，這樣查詢時只需與對應服務端建立一次連接即可，從而提高了非主鍵查詢速度。通過對