海量日志數(shù)據(jù)處理與查詢優(yōu)化技術研究.pdf

1、互聯(lián)網(wǎng)及各行各業(yè)信息化的快速發(fā)展，企業(yè)和單位需要處理的數(shù)據(jù)量越來越大。傳統(tǒng)文件系統(tǒng)已經(jīng)不能滿足海量數(shù)據(jù)的存儲需求，分布式文件系統(tǒng)成為解決海量數(shù)據(jù)存儲的一種有效方式。同時，由大數(shù)據(jù)量引發(fā)的大量計算，也推動并行計算的高速發(fā)展。日志數(shù)據(jù)是常見的一種海量數(shù)據(jù)，本文針對海量日志數(shù)據(jù)，研究、設計和實現(xiàn)了其處理與查詢優(yōu)化技術，主要工作和創(chuàng)新點如下:
　　(1)設計實現(xiàn)了基于Hadoop的并行特征匹配算法。針對海量日志數(shù)據(jù)，結合WM算法，對日志中

2、的關鍵字，如Warning，Exception，Error等，進行并行特征匹配。實驗證明，該并行優(yōu)化技術可隨集群節(jié)點數(shù)近似線性的提高匹配性能。
　　(2)提出基于關鍵列預處理優(yōu)化的無冗余分布式存儲和查詢模型。該模型針對海量結構化日志數(shù)據(jù)，首先選定關系表的某些列作為關鍵列，然后按照關鍵列分布式存儲數(shù)據(jù)，并記錄相關存儲信息作為元數(shù)據(jù)索引。對含有關鍵列的查詢，根據(jù)元數(shù)據(jù)索引減少單次查詢的數(shù)據(jù)量。模擬實驗證明，該方法可顯著提高系統(tǒng)吞吐率。