數(shù)據(jù)流頻繁項(xiàng)挖掘系統(tǒng)的研究和實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，世界已經(jīng)走向信息經(jīng)濟(jì)時(shí)代：信息資源并不稀缺，稀缺的是發(fā)現(xiàn)信息資源、綜合信息資源的手段。搜索引擎就是因此應(yīng)運(yùn)而生的。但是隨著可搜索資源和搜索引擎使用者的不斷增加，搜索引擎的查詢性能成為一個制約其發(fā)展的瓶頸。 改善搜索引擎的性能可以從不同方面入手，如加大服務(wù)器集群規(guī)模，推出各種垂直搜索，優(yōu)化搜索目標(biāo)排名方案，提供個性化搜索服務(wù)等。本文試圖從分析查詢輸入入手，采用數(shù)據(jù)流挖掘技術(shù)，研究和改進(jìn)一種面向數(shù)據(jù)流的頻繁項(xiàng)挖掘算

2、法，并實(shí)現(xiàn)一個頻繁項(xiàng)實(shí)時(shí)統(tǒng)計(jì)系統(tǒng)，指導(dǎo)搜索搜索引擎的索引組織和網(wǎng)頁抓取，從而提供更高效的搜索性能、更準(zhǔn)確的查詢結(jié)果。 本文針對目前的Lossy Counting算法在處理大數(shù)據(jù)流量的事務(wù)數(shù)據(jù)流上沒有空間需求上限，處理速度隨著數(shù)據(jù)量增大而降低的特點(diǎn)，提出了一種針對這種算’法的改進(jìn)算法Lattice Lossy Counting。通過設(shè)置時(shí)間窗格的方法是原算法具有挖掘結(jié)果具有實(shí)效性，并且為控制挖掘過程設(shè)置所需空間的上限；通過將算法拆

3、分成兩個階段處理，在不影響精度的前提下提高算法處理速度。以使其符合在大數(shù)據(jù)流量長時(shí)間處理的情況下的應(yīng)用需要。 另一方面，為了測試算法性能、實(shí)現(xiàn)算法應(yīng)用，本文提出了一套面向搜索引擎的、基于數(shù)據(jù)流的頻繁項(xiàng)挖掘系統(tǒng)——Fenster。該系統(tǒng)可以處理由查詢產(chǎn)生的輸入事務(wù)流或由點(diǎn)擊產(chǎn)生的事務(wù)流，采用在線算法挖掘頻繁項(xiàng)。根據(jù)應(yīng)用環(huán)境的區(qū)別，本文分別介紹了Fenster的兩種運(yùn)行架構(gòu)：集成環(huán)境應(yīng)用于小型應(yīng)用和算法性能測試；分布式的架構(gòu)應(yīng)用于大

4、規(guī)模的應(yīng)用。 通過實(shí)驗(yàn)，本文論證了這種新的算法在時(shí)間性能和空間性能上對于LossyCounting算法的改進(jìn)是卓有成效的，具有廣泛的應(yīng)用前景；驗(yàn)證了該基于數(shù)據(jù)流的頻繁項(xiàng)挖掘系統(tǒng)的可用性，并提出了該系統(tǒng)未來改進(jìn)的方向。 除了搜索引擎之外，本系統(tǒng)提供的高度可配置性能力讓系統(tǒng)在其他領(lǐng)域的應(yīng)用成為可能。同時(shí)，數(shù)據(jù)流頻繁項(xiàng)挖掘研究的不斷深入也讓本系統(tǒng)在諸如股票分析、人群行為分析、商業(yè)行為分析、天氣和環(huán)境檢測等諸多方面具有廣闊的應(yīng)用