基于元數據分布式查詢與優(yōu)化方法的應用研究.pdf

1、隨著數據和業(yè)務的復雜化，查詢滿足條件的數據也會越來越復雜，當向分布式數據源查詢信息時，編程人員需要了解各種數據的存儲位置，存儲方式和存儲結構，需要調用很多接口來獲取相關數據。這通常需要花費大量的編程精力，并要求編程人員對數據接口具有較高的熟悉程度。如果能夠向程序員提供統(tǒng)一的數據編程接口，屏蔽后端存取細節(jié)，將大大地提高程序員的編程效率。
　　本課題研究了一種基于元數據的分布式查詢方法，運用元數據定義和管理各數據源關鍵信息的虛擬表。然

2、后針對數據量級的不同，設計了小數據和大數據這兩種不同的查詢以及優(yōu)化方案。在小數據查詢方面，利用虛擬表、語法分析樹和內存數據庫實現小數據查詢，通過復制、移動和分割虛擬SQL查詢語法樹分支進行優(yōu)化。在大數據查詢方面，運用Pig、Hadoop、python來實現大數據查詢;通過優(yōu)化Pig代碼，使用多進程處理HDFS的小文件合并及文件上傳下載，對高頻業(yè)務建立索引等來實現大數據的優(yōu)化。
　　利用元數據信息構建虛擬表，實現對分布式數據源的統(tǒng)一

3、查詢;利用LEMON語法解析器對用戶提交的針對虛擬表的SQL語句進行語法分析和語法檢測。在小數據查詢方面，利用語法樹進行語義優(yōu)化;利用內存數據庫實現多數據源結果集合并。在大數據查詢方面，利用Pig腳本提交任務;Hadoop實現分布式計算和查詢;通過多進程處理HDFS小文件的合并以及文件的上傳下載來減少NameNode節(jié)點的負載，提升上傳下載的速度;對高頻業(yè)務建立索引，能快速查找數據，減少數據加載量實現了數據查詢的優(yōu)化，達到了優(yōu)化目的。<