數(shù)據(jù)流管理系統(tǒng)中查詢優(yōu)化和負(fù)載脫落技術(shù)的研究.pdf

1、數(shù)據(jù)流管理系統(tǒng)是實(shí)時(shí)處理大量、快速、無界的數(shù)據(jù)流的系統(tǒng),數(shù)據(jù)流本身的特點(diǎn)及面向流的應(yīng)用需求對(duì)數(shù)據(jù)流管理系統(tǒng)實(shí)時(shí)、高效、穩(wěn)定的查詢需求提出了諸多挑戰(zhàn)。本文從系統(tǒng)查詢的高效性和穩(wěn)定性兩個(gè)角度出發(fā),研究了數(shù)據(jù)流查詢中查詢優(yōu)化和負(fù)載脫落兩個(gè)方面的問題,設(shè)計(jì)了相應(yīng)的模型和算法,并實(shí)現(xiàn)了一個(gè)數(shù)據(jù)流查詢原型系統(tǒng)。 針對(duì)查詢優(yōu)化,本文從查詢共享和查詢調(diào)度兩方面開展工作。查詢共享即通過對(duì)數(shù)據(jù)流管理系統(tǒng)中相同或相似的存儲(chǔ)結(jié)構(gòu)和處理過程進(jìn)行共享,達(dá)到

2、減少重復(fù)存儲(chǔ)和計(jì)算、提高系統(tǒng)效率的目的。針對(duì)數(shù)據(jù)流存儲(chǔ)共享,本文設(shè)計(jì)了數(shù)據(jù)流查詢過程中中間結(jié)果的存儲(chǔ)結(jié)構(gòu),并設(shè)計(jì)了基于索引的共享隊(duì)列二級(jí)間接存儲(chǔ)算法,使得中間結(jié)果存儲(chǔ)得到一定程度的共享。針對(duì)多查詢操作共享,本文設(shè)計(jì)了相同查詢操作提取的算法,通過對(duì)查詢操作中相同計(jì)算資源的共享,減少了系統(tǒng)的處理開銷。 針對(duì)查詢調(diào)度,考慮到操作符在運(yùn)行時(shí)輕重緩急的不同,本文采取為每個(gè)操作符設(shè)置優(yōu)先級(jí)并根據(jù)優(yōu)先級(jí)調(diào)度操作符的策略,設(shè)計(jì)了PriOpera

3、tor模型,綜合考慮了影響操作符優(yōu)先級(jí)的四個(gè)因素,并通過為每個(gè)因素設(shè)定系數(shù)的方式,計(jì)算得到操作符的優(yōu)先級(jí)并進(jìn)行調(diào)度。然后,本文引入了基于模擬退火算法的人工神經(jīng)網(wǎng)絡(luò)方法,以影響系統(tǒng)性能的兩個(gè)因素作為反饋,對(duì)影響操作符優(yōu)先級(jí)的四個(gè)因素的待定系數(shù)進(jìn)行學(xué)習(xí),并將學(xué)習(xí)結(jié)果運(yùn)用到操作符優(yōu)先級(jí)的重新計(jì)算中,在節(jié)省系統(tǒng)存儲(chǔ)空間的同時(shí)提高了系統(tǒng)查詢的效率。 對(duì)于負(fù)載脫落問題,本文以存在連接操作符的情況時(shí)基于語義的負(fù)載脫落為重點(diǎn),從負(fù)載脫落的時(shí)機(jī)、

4、數(shù)量和位置三個(gè)方面展開研究。通過監(jiān)測系統(tǒng)的負(fù)載狀態(tài),并在負(fù)載達(dá)到一定程度時(shí)進(jìn)行預(yù)警,在縮小連接操作符滑動(dòng)窗口的基礎(chǔ)上,給出了負(fù)載脫落解決方法。同時(shí),本文設(shè)計(jì)了一種語義學(xué)習(xí)機(jī)制,對(duì)相應(yīng)元組屬性進(jìn)行監(jiān)測并動(dòng)態(tài)學(xué)習(xí)元組命中率狀況,根據(jù)學(xué)習(xí)的結(jié)果確定語義負(fù)載脫落的謂詞,使得系統(tǒng)負(fù)載脫落時(shí)能夠盡可能提高系統(tǒng)準(zhǔn)確性。在負(fù)載量減少時(shí),算法能自適應(yīng)性地刪除負(fù)載脫落操作符,增加系統(tǒng)查詢的準(zhǔn)確度。 最后,結(jié)合本文研究的內(nèi)容,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)數(shù)據(jù)流查