基于近似網(wǎng)頁(yè)聚類算法的Web文本數(shù)據(jù)挖掘技術(shù)的研究與應(yīng)用.pdf

1、隨著Internet信息量的飛速增長(zhǎng)，數(shù)據(jù)挖掘技術(shù)的日益成熟及XML語(yǔ)言的崛起，Web數(shù)據(jù)挖掘技術(shù)迅速成為信息檢索領(lǐng)域的研究熱點(diǎn)。本文對(duì)Web數(shù)據(jù)挖掘技術(shù)、搜索引擎技術(shù)、XML語(yǔ)言、文本聚類技術(shù)作了系統(tǒng)的研究，介紹了其特點(diǎn)、原理、方法和研究現(xiàn)狀。如今Internet已經(jīng)成為了人們獲取各種信息的主要來(lái)源，利用常用搜索引擎系統(tǒng)能夠獲得大量的相關(guān)信息，但是這些信息太多太亂，用戶難以迅速找到真正感興趣的網(wǎng)頁(yè)。對(duì)此，本文深入研究了如何對(duì)搜索引擎返

2、回的結(jié)果進(jìn)行文本數(shù)據(jù)挖掘以獲得用戶感興趣的搜索模式。 本文從Internet用戶的興趣度出發(fā)，提出了一種基于近似網(wǎng)頁(yè)聚類算法的Web文本挖掘技術(shù)。該技術(shù)根據(jù)用戶的興趣程度形成詞匯庫(kù)；利用模糊聚類方法獲得分詞詞典組；在用戶利用常用搜索引擎系統(tǒng)進(jìn)行信息檢索時(shí)，采用MD5算法消除搜索引擎返回的重復(fù)頁(yè)，采用近似網(wǎng)頁(yè)聚類算法，對(duì)剩余頁(yè)面進(jìn)行聚類，返回給用戶聚類后的網(wǎng)頁(yè)簇，這樣用戶就可以選擇瀏覽自己感興趣的頁(yè)面，從而大大提高了信息檢索的查準(zhǔn)

3、率；為進(jìn)一步滿足用戶的興趣需要，最后提出了一種基于馬爾可夫鏈的Web訪問(wèn)序列挖掘算法，對(duì)返回給用戶的網(wǎng)頁(yè)簇進(jìn)行二次排序，以保證用戶快速、準(zhǔn)確地獲得真正關(guān)心的信息。實(shí)驗(yàn)證明該算法在保證查全率和查準(zhǔn)率的基礎(chǔ)上大大提高了搜索效率。由于是針對(duì)小文本的數(shù)據(jù)挖掘，本文研究的算法時(shí)間和空間復(fù)雜度都不高，因此有望成為一種實(shí)用、有效的信息檢索技術(shù)。 作者設(shè)計(jì)了一個(gè)基于上述思想的智能搜索系統(tǒng)，并用于一個(gè)辦公自動(dòng)化系統(tǒng)。該系統(tǒng)運(yùn)行速度快，能夠兼顧查全