面向智能信息檢索的Web挖掘關鍵技術研究.pdf

1、WWW自從1991年問世以來得到了非常迅速的發(fā)展，為人們獲取各種信息提供了方便。隨著Internet技術的不斷發(fā)展和完善，WWW將會逐步成為人們獲取信息的一個重要渠道。如果說，在信息量相對較少的時候，Internet為人們獲取信息提供了方便的話，隨著Internet上信息量的急劇增加，人們卻感覺到查找所需要的信息越來越困難了，其原因就在于傳統(tǒng)的信息檢索方式已越來越不適應網上的海量信息，人們希望有更加智能化的信息檢索方式出現，以應對海量信

2、息的檢索。 本文對面向智能信息檢索的Web挖掘的若干關鍵技術進行研究，重點研究了數據預處理、Web頁面分類/聚類及Web用戶分類/聚類、概念檢索、個性化服務等問題，提出或改進了一些應用于智能信息檢索的Web挖掘算法，應用研究成果實現了一個小型智能化信息檢索的系統(tǒng)原型。 數據預處理包括基于PDF文件的信息抽取、中文文本分詞和Web日志預處理。對于PDF文件信息抽取，提出了基于格式注入的規(guī)則抽取和基于樹模型的信息抽取算法，在

3、人工標注指導下學習信息抽取規(guī)則，取得了較高的信息抽取準確率。對于中文文本分詞，提出了基于固定詞典和統(tǒng)計相結合的漸進式豐富詞典的中文文本分詞方法，較好地解決了新詞識別問題，相對于單純的詞典方法或統(tǒng)計方法，具有更好的分詞效果。Web日志預處理包括數據清洗、用戶識別、會話識別和路徑補充等工作，在分析已有工作的基礎上，重點討論了路徑補充問題并提出了新的路徑補充算法，使Web日志預處理工作更加完善。 在中文頁面分類研究中，討論了用于文本分

4、類的各種方法，重點討論了對文本分類具有較高分類準確率的k-近鄰方法。針對k-近鄰方法分類效率不高的問題，提出了基于密度的訓練樣本集約減、漸進式分類等算法。通過計算訓練樣本集中各類別的類別密度及整個訓練集的平均密度，去掉高密度類別中的部分樣本；漸進式分類模式模擬人工分類文本的智能化形式，分為按標題分類、按關鍵段落分類和按全文分類三個層次，盡量減少分析全文的比例。實驗表明，這兩個方面的改進，不僅提高了k-近鄰方法的分類效率，而且對其分類準確

5、率也有一定程度的提高，這說明訓練樣本集的約減使其具有更好的代表性，漸進式文本分類更符合人工智能分類文本的模式。同時還討論了基于遺傳算法學習獲得k值和通過領域本體對文本進行語義轉換等問題。 在針對Web用戶分類的討論中，考慮到Web日志數據含有較多噪音及用戶分類特征不明顯的特性，利用神經網絡方法具有較強抗噪音能力的特點，把神經網絡方法用于Web用戶分類，取得了較好的分類效果。 在聚類研究中，對各種常用的聚類方法進行了討論分

6、析，改進了k-means聚類方法和DBSCAN聚類方法。針對k-means算法，提出了一種新的基于數據樣本分布選取初始聚類中心的方法，提高了k-means算法的聚類準確率；針對DBSCAN算法，實現了鄰域半徑Eps和鄰域內數據對象個數MinPts兩個重要參數的自動選取，改進后的算法不僅提高了其自動化程度，而且更符合數據的實際分布，拓展了原有算法的聚類能力。 結合智能信息檢索系統(tǒng)原型的建立，討論了概念檢索和個性化服務問題。通過信息