個性化的Web信息采集技術(shù)研究.pdf

1、隨著Web信息的爆炸性增長，如何快速、準確地從浩瀚的信息資源中尋找到所需信息已經(jīng)成為困擾人們的一大難題。傳統(tǒng)搜索引擎技術(shù)滿足了人們一定的需要，但由于其通用的性質(zhì)，仍然不能滿足不同背景、不同目的和不同時期的用戶個性化的需求。個性化Web信息采集就是針對這個問題而提出來的。個性化Web信息采集的研究目標在于充分利用用戶的個性化信息，通過用戶興趣制導(dǎo)或與用戶交互等靈活手段來采集’Web信息，充分利用網(wǎng)絡(luò)信息，以更好地服務(wù)于用戶的個性化需求。

2、 圍繞個性化Web信息采集系統(tǒng)PSearch，論文的主要工作包括以下幾個方面： (1)用戶興趣個性化信息的獲取。分析了用戶興趣個性化信息的收集和更新，重點從用戶需求擴展、特征選擇，以及文本聚類分析三個方面來做了分析和實驗。 當捕獲用戶當前的瀏覽行為時，根據(jù)用戶當前瀏覽內(nèi)容的計算結(jié)果，選擇那些跟用戶需求關(guān)鍵詞相似度最大的詞擴展進來，從而保證了擴展詞的質(zhì)量。實驗結(jié)果表明，通過這樣的需求擴展確實獲得了用戶的當前個性化興趣

3、。 隱式收集用戶興趣在本質(zhì)上與文本分類中的特征選擇問題相似。隱式收集用戶興趣可以借鑒文本特征選擇方法來實現(xiàn)用戶興趣的收集。實驗結(jié)果表明在用戶興趣個性化信息的獲取中，信息增益方法效果較佳。 如果能夠?qū)τ脩魹g覽的頁面聚類，就能夠得到用戶具體感興趣的主題。隱式收集用戶興趣可以借鑒文本聚類分析來實現(xiàn)用戶興趣的收集。實驗結(jié)果表明在用戶興趣個性化信息的獲取中，Bisecting K-means是一個合適的選擇。 (2)待采頁

4、面的選擇。根據(jù)頁面在Web上的分布特征，分析了個性化Web信息采集系統(tǒng)PSearch的種子URL設(shè)置、頁面采集過程、已采頁面與用戶興趣的相關(guān)度判定和待采URL與用戶興趣的相關(guān)度預(yù)測，提出了PSearch頁面選擇算法。實驗結(jié)果表明PSearch頁面選擇算法的采集準確性要明顯優(yōu)于廣度優(yōu)先算法。 (3)相關(guān)度的判定。借鑒了信息檢索中的分類過程，實驗結(jié)果表明，在PSearch的相關(guān)度判定中kNN的性能較佳。提出了PSearch頁面推薦算