基于模糊查詢的大數(shù)據(jù)分析處理系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著大數(shù)據(jù)分析技術(shù)的日漸成熟，大數(shù)據(jù)所蘊(yùn)含的巨大價值已經(jīng)越來越被重視。由于數(shù)據(jù)量巨大，對大數(shù)據(jù)進(jìn)行分析一般是很耗費(fèi)時間的。然而，在很多情況下，用戶并不需要精確的查詢結(jié)果，數(shù)據(jù)大概的輪廓就可以滿足大部分的分析需求。
　　本文研究并實(shí)現(xiàn)了一種基于模糊查詢的大數(shù)據(jù)分析處理系統(tǒng)。該系統(tǒng)為用戶定義了一套查詢接口，這些接口支持用戶進(jìn)行各種聚集查詢(Group By)。系統(tǒng)將會為用戶查詢返回一個模糊結(jié)果。本系統(tǒng)可以在秒級內(nèi)返回上百G數(shù)據(jù)的模糊查

2、詢結(jié)果。
　　利用在線聚集技術(shù)可以快速生成數(shù)據(jù)輪廓的特點(diǎn)，本文將在線聚集技術(shù)應(yīng)用到了系統(tǒng)中。同時，系統(tǒng)中相鄰查詢得到的結(jié)果集是有交疊的，如果能夠?qū)⑾到y(tǒng)已經(jīng)處理的查詢所采集到的樣本和計(jì)算出的中間結(jié)果保存起來，就可以加速系統(tǒng)處理后面查詢的速度?；诖?，本文對在線聚集技術(shù)做了優(yōu)化。
　　首先，本文對數(shù)據(jù)集進(jìn)行隨機(jī)化處理，生成一個隨機(jī)數(shù)據(jù)集，這樣，就可以通過順序掃描隨機(jī)數(shù)據(jù)集來達(dá)到在數(shù)據(jù)集中隨機(jī)采樣的效果。然后，本文通過在線聚集技術(shù)

3、處理用戶的查詢請求。在線聚集技術(shù)在生成查詢結(jié)果的同時，會把已經(jīng)獲取的樣本和產(chǎn)生的中間結(jié)果存儲在一棵樣本管理樹中。相應(yīng)的，用戶的查詢也會首先在這棵樹中進(jìn)行處理。當(dāng)在樹中查詢到的結(jié)果不能滿足用戶的需求時，系統(tǒng)再從數(shù)據(jù)源讀取數(shù)據(jù)。通過這種方式，在線聚集技術(shù)中采取的樣本和中間結(jié)果可以有效地被多個查詢使用。同時，本文還提供了一種整合多個中間結(jié)果的方法，以生成最終查詢結(jié)果。最后，通過在TPC-H基準(zhǔn)上的實(shí)驗(yàn)結(jié)果，驗(yàn)證了本文所設(shè)計(jì)并實(shí)現(xiàn)的系統(tǒng)的有效性