面向智能信息檢索的Web挖掘關(guān)鍵技術(shù)研究.pdf

1、WWW自從1991年問世以來得到了非常迅速的發(fā)展，為人們獲取各種信息提供了方便。隨著Internet技術(shù)的不斷發(fā)展和完善，WWW將會逐步成為人們獲取信息的一個重要渠道。如果說，在信息量相對較少的時候，Internet為人們獲取信息提供了方便的話，隨著Internet上信息量的急劇增加，人們卻感覺到查找所需要的信息越來越困難了，其原因就在于傳統(tǒng)的信息檢索方式已越來越不適應(yīng)網(wǎng)上的海量信息，人們希望有更加智能化的信息檢索方式出現(xiàn)，以應(yīng)對海量信

2、息的檢索。 本文對面向智能信息檢索的Web挖掘的若干關(guān)鍵技術(shù)進(jìn)行研究，重點(diǎn)研究了數(shù)據(jù)預(yù)處理、Web頁面分類/聚類及Web用戶分類/聚類、概念檢索、個性化服務(wù)等問題，提出或改進(jìn)了一些應(yīng)用于智能信息檢索的Web挖掘算法，應(yīng)用研究成果實(shí)現(xiàn)了一個小型智能化信息檢索的系統(tǒng)原型。 數(shù)據(jù)預(yù)處理包括基于PDF文件的信息抽取、中文文本分詞和Web日志預(yù)處理。對于PDF文件信息抽取，提出了基于格式注入的規(guī)則抽取和基于樹模型的信息抽取算法，在

3、人工標(biāo)注指導(dǎo)下學(xué)習(xí)信息抽取規(guī)則，取得了較高的信息抽取準(zhǔn)確率。對于中文文本分詞，提出了基于固定詞典和統(tǒng)計(jì)相結(jié)合的漸進(jìn)式豐富詞典的中文文本分詞方法，較好地解決了新詞識別問題，相對于單純的詞典方法或統(tǒng)計(jì)方法，具有更好的分詞效果。Web日志預(yù)處理包括數(shù)據(jù)清洗、用戶識別、會話識別和路徑補(bǔ)充等工作，在分析已有工作的基礎(chǔ)上，重點(diǎn)討論了路徑補(bǔ)充問題并提出了新的路徑補(bǔ)充算法，使Web日志預(yù)處理工作更加完善。 在中文頁面分類研究中，討論了用于文本分

4、類的各種方法，重點(diǎn)討論了對文本分類具有較高分類準(zhǔn)確率的k-近鄰方法。針對k-近鄰方法分類效率不高的問題，提出了基于密度的訓(xùn)練樣本集約減、漸進(jìn)式分類等算法。通過計(jì)算訓(xùn)練樣本集中各類別的類別密度及整個訓(xùn)練集的平均密度，去掉高密度類別中的部分樣本；漸進(jìn)式分類模式模擬人工分類文本的智能化形式，分為按標(biāo)題分類、按關(guān)鍵段落分類和按全文分類三個層次，盡量減少分析全文的比例。實(shí)驗(yàn)表明，這兩個方面的改進(jìn)，不僅提高了k-近鄰方法的分類效率，而且對其分類準(zhǔn)確

5、率也有一定程度的提高，這說明訓(xùn)練樣本集的約減使其具有更好的代表性，漸進(jìn)式文本分類更符合人工智能分類文本的模式。同時還討論了基于遺傳算法學(xué)習(xí)獲得k值和通過領(lǐng)域本體對文本進(jìn)行語義轉(zhuǎn)換等問題。 在針對Web用戶分類的討論中，考慮到Web日志數(shù)據(jù)含有較多噪音及用戶分類特征不明顯的特性，利用神經(jīng)網(wǎng)絡(luò)方法具有較強(qiáng)抗噪音能力的特點(diǎn)，把神經(jīng)網(wǎng)絡(luò)方法用于Web用戶分類，取得了較好的分類效果。 在聚類研究中，對各種常用的聚類方法進(jìn)行了討論分

6、析，改進(jìn)了k-means聚類方法和DBSCAN聚類方法。針對k-means算法，提出了一種新的基于數(shù)據(jù)樣本分布選取初始聚類中心的方法，提高了k-means算法的聚類準(zhǔn)確率；針對DBSCAN算法，實(shí)現(xiàn)了鄰域半徑Eps和鄰域內(nèi)數(shù)據(jù)對象個數(shù)MinPts兩個重要參數(shù)的自動選取，改進(jìn)后的算法不僅提高了其自動化程度，而且更符合數(shù)據(jù)的實(shí)際分布，拓展了原有算法的聚類能力。 結(jié)合智能信息檢索系統(tǒng)原型的建立，討論了概念檢索和個性化服務(wù)問題。通過信息