基于Web挖掘的網(wǎng)站邏輯結(jié)構(gòu)生成系統(tǒng).pdf

1、隨著單個web站點(diǎn)的日益龐大，web超鏈結(jié)構(gòu)的日趨復(fù)雜，傳統(tǒng)的建立在單個網(wǎng)頁和單純超鏈結(jié)構(gòu)上的web模型已很難適應(yīng)基于各種不同應(yīng)用需求的web分析。為有效解決web分析所需知識的表示、應(yīng)用與獲取問題，新的web模型應(yīng)能充分體現(xiàn)網(wǎng)頁間的邏輯關(guān)聯(lián)信息以及網(wǎng)站內(nèi)部的組織結(jié)構(gòu)特征。本文首先建立了一種新的web站點(diǎn)邏輯結(jié)構(gòu)模型，然后提出了三種web邏輯結(jié)構(gòu)挖掘算法并實(shí)現(xiàn)了一個完整的web站點(diǎn)邏輯結(jié)構(gòu)自動生成系統(tǒng)。在實(shí)驗(yàn)部分，通過對當(dāng)前幾個大型的知

2、名web站點(diǎn)進(jìn)行實(shí)際測試，以及與wen syan li等人的經(jīng)典算法進(jìn)行對比測試，表明算法在精度上能夠達(dá)到較好的水平，而在效率上則有明顯優(yōu)勢。本文所作的工作主要有以下幾點(diǎn)： (1) 提出了建立在web站點(diǎn)邏輯域及其導(dǎo)入路徑之上的web站點(diǎn)邏輯結(jié)構(gòu)模型。 (2) 以上述模型為最終目標(biāo)，提出了兩種邏輯域挖掘算法和一種邏輯域?qū)肼窂酵诰蛩惴ǎ謩e是：基于網(wǎng)頁分塊聚類和基于邏輯域核的web站點(diǎn)邏輯域挖掘算法以及基于啟發(fā)式規(guī)則的邏

3、輯域?qū)肼窂酵诰蛩惴ā?(3) 以上述算法為基礎(chǔ)，設(shè)計(jì)并實(shí)現(xiàn)了web站點(diǎn)邏輯結(jié)構(gòu)自動生成系統(tǒng)。該系統(tǒng)能夠自動從給定站點(diǎn)的入口地址，抓取回指定數(shù)量的網(wǎng)頁。對取回的網(wǎng)頁，生成其基于超鏈拓?fù)浣Y(jié)構(gòu)的有向圖和儲存每個網(wǎng)頁相關(guān)信息的網(wǎng)頁信息庫，并以這兩個數(shù)據(jù)結(jié)構(gòu)為基礎(chǔ)，通過運(yùn)行上述算法，最終得到web站點(diǎn)的整體邏輯結(jié)構(gòu)。 (4) 考慮到算法的可用性，在算法的效率上也進(jìn)行了較深入的研究。對耗時最多的基于邏輯域核的挖掘算法，其時間復(fù)雜度