大數(shù)據(jù)并發(fā)實時查詢建模.pdf

1、隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)結(jié)構(gòu)類型多樣化難處理，海量數(shù)據(jù)查詢低效率、滯后性問題日益突出。高維空間索引是解決動態(tài)數(shù)據(jù)更新索引的關(guān)鍵技術(shù)，大數(shù)據(jù)實時查詢的核心問題是數(shù)據(jù)管理以及其組織結(jié)構(gòu)問題。
　　本文提出了一種基于改進(jìn)型DC-Tree的海量數(shù)據(jù)環(huán)境下的實時查詢系統(tǒng)，該系統(tǒng)不僅能夠在大數(shù)據(jù)環(huán)境下提供并發(fā)式實時查詢和動態(tài)插入更新策略，并且具有對大規(guī)模數(shù)據(jù)流動態(tài)智能分類的特點。本文重點研究了增量式貝葉斯網(wǎng)絡(luò)學(xué)習(xí)模型以及動態(tài)高維索引結(jié)構(gòu)，特

2、別在增量式學(xué)習(xí)方式上和動態(tài)數(shù)據(jù)結(jié)構(gòu)上進(jìn)行改進(jìn)，從性能和實時性等多個角度設(shè)計出了一種適合大數(shù)據(jù)環(huán)境下的并發(fā)實時查詢和動態(tài)插入更新算法，主要工作如下：
　?。?）設(shè)計了一種大數(shù)據(jù)環(huán)境下的數(shù)據(jù)流實時分類方案，運(yùn)用增量式的學(xué)習(xí)方式改進(jìn)貝葉斯網(wǎng)絡(luò)模型的構(gòu)建，大大增加查詢分類的效率和數(shù)據(jù)的有效性，支持網(wǎng)絡(luò)結(jié)構(gòu)的動態(tài)更新，支持靈活的數(shù)據(jù)流分類，適用于不同數(shù)據(jù)需求環(huán)境的查詢分析。
　?。?）基于DC-Tree設(shè)計了支持海量數(shù)據(jù)動態(tài)更新改進(jìn)結(jié)

3、構(gòu)，支持多維概念層次模型，并支持并發(fā)動態(tài)插入更新以及實時查詢沖突修正，提高了海量數(shù)據(jù)環(huán)境下查詢更新的精確度，提升了數(shù)據(jù)實時性效果。
　?。?）基于改進(jìn)型DC-Tree方案，建立了一個適用于大數(shù)據(jù)環(huán)境下的并發(fā)實時查詢更新系統(tǒng)，通過Z curve實現(xiàn)多維數(shù)據(jù)降維，Bloom Filter實現(xiàn)海量數(shù)據(jù)高效離散存儲及并行化計算，以及改進(jìn)型動態(tài)索引結(jié)構(gòu)DC-Tree提高數(shù)據(jù)實時性，解決海量數(shù)據(jù)查詢效率低、實時性差的實際問題。
　?。?