海量數(shù)據(jù)中基于關(guān)鍵字的Top-k查詢(xún)技術(shù)研究.pdf

1、隨著云視訊、共享空間等新型技術(shù)的應(yīng)用，存儲(chǔ)在網(wǎng)絡(luò)上的信息呈現(xiàn)爆炸式增長(zhǎng)。信息的海量積累和動(dòng)態(tài)變化阻礙了人類(lèi)對(duì)它的有效利用。為了解決從海量數(shù)據(jù)中準(zhǔn)確、有效地查詢(xún)最優(yōu)集合并快速返回給用戶(hù)的問(wèn)題，Top-k查詢(xún)技術(shù)被提出。Top-k查詢(xún)作為一種重要的操作，在Web搜索、數(shù)據(jù)挖掘、Multimediadatabase、網(wǎng)絡(luò)、股票市場(chǎng)交易等領(lǐng)域得到廣泛應(yīng)用。
　　 本文針對(duì)海量數(shù)據(jù)中基于關(guān)鍵字的Top-k查詢(xún)技術(shù)進(jìn)行研究工作。通過(guò)針對(duì)To

2、p-k查詢(xún)算法的數(shù)據(jù)處理量、訪問(wèn)開(kāi)銷(xiāo)與實(shí)時(shí)性能等方面進(jìn)行研究，旨在提供面向海量數(shù)據(jù)的高效的Top-k查詢(xún)算法。本文的主要工作包括:
　　 本文提出了一種集中式環(huán)境中基于海量數(shù)據(jù)的關(guān)鍵字Top-k查詢(xún)算法。針對(duì)現(xiàn)有樸素Top-k算法的不足，設(shè)計(jì)了一種基于三維分檔布魯姆過(guò)濾器的Top-k查詢(xún)算法。該方法通過(guò)將數(shù)據(jù)庫(kù)的屬性列表與位置標(biāo)識(shí)構(gòu)成的三元組分別使用三維分檔布魯姆過(guò)濾器表存儲(chǔ)，從而以較低的誤判率換取較高的數(shù)據(jù)訪問(wèn)效率并且極大地降

3、低了數(shù)據(jù)調(diào)度時(shí)所需要的內(nèi)存消耗。經(jīng)過(guò)理論分析與實(shí)驗(yàn)驗(yàn)證，表明該算法具有很高的效率和可擴(kuò)展性。
　　 本文提出了分布式環(huán)境中基于海量數(shù)據(jù)的關(guān)鍵字Top-k查詢(xún)及優(yōu)化技術(shù)。該方法首先將網(wǎng)絡(luò)節(jié)點(diǎn)按照剪切規(guī)則處理，將大量與結(jié)果不相關(guān)的網(wǎng)絡(luò)節(jié)點(diǎn)剪枝，然后按照抽樣算法進(jìn)行處理，最終按照要求獲取適合的查詢(xún)結(jié)果。真實(shí)數(shù)據(jù)集實(shí)驗(yàn)表明，該算法可以滿足用戶(hù)不同精度的查詢(xún)要求，并且具有較好的擴(kuò)展性。
　　 基于以上研究成果，實(shí)現(xiàn)一種面向海量數(shù)據(jù)