粗糙集在Web挖掘中的應(yīng)用研究.pdf

1、Web挖掘廣義定義為從Internet上發(fā)現(xiàn)和分析有用信息。Web挖掘可以協(xié)助Web搜索引擎找出高質(zhì)量的網(wǎng)頁和分析Web語義結(jié)構(gòu)、點擊信息等，使Web服務(wù)更加智能化。目前Web挖掘技術(shù)中，特別是Web文本的分類、聚類，采用的核心算法是基于詞頻統(tǒng)計的矢量空間模型算法。該算法中文檔的特征詞的選取和相似度測量是關(guān)鍵。對特征詞的選取和權(quán)重計算有很多研究，取得了積極效果。但是，特征詞之間的關(guān)系研究很少。如何準(zhǔn)確描述和恰當(dāng)利用特征詞之間的聯(lián)系，是改

2、進(jìn)目前Web挖掘算法的一個途徑。粗糙集理論是一種強有力的處理不確定性關(guān)系的數(shù)學(xué)工具，粗糙集擴展更能滿足實際應(yīng)用的需要。 從知識分類的觀點剖析了粗糙集理論的內(nèi)涵，指出了粗糙集擴展的必要性。以Web信息檢索為研究對象，以擴展粗糙集理論為工具，以知識獲取為目的，提出了基于模糊粗糙集的網(wǎng)頁個人興趣分級算法，較系統(tǒng)深入地研究了基于容錯粗糙集的Web查詢詞的擴展、分類、聚類理論與應(yīng)用。 在經(jīng)典粗糙集合的基礎(chǔ)上，針對數(shù)據(jù)的過擬合而使其

3、對新對象的預(yù)測能力降低；對原始數(shù)據(jù)本身的模糊性缺乏相應(yīng)的處理方法；針對粗糙集邊界區(qū)域的刻畫比較簡單，而沒有一定程度的屬于或包含等，探討了幾種典型的擴展模型，如變精度粗糙集模型、模糊粗糙集模型和容錯粗糙集模型。分析了這幾種模型的相關(guān)性質(zhì)，指出了它們實質(zhì)上可以統(tǒng)一到廣義粗糙集的模型上，只是針對的關(guān)系基礎(chǔ)和定義的隸屬函數(shù)不同。從而能更加直觀地理解粗糙集理論，啟發(fā)應(yīng)用粗糙集理論開發(fā)更好的數(shù)據(jù)挖掘算法。 分析了Web檢索中查詢準(zhǔn)確率不高的

4、一個重要原因是用戶對查詢語句的不能精確表示，提出了基于容錯粗糙集的查詢詞自動擴展方法，用特征詞容錯類描述查詢語句與返回結(jié)果之間的不確定關(guān)系，用查詢語句上近似集合構(gòu)造新的查詢語句，自動增加了帶權(quán)重的相關(guān)查詢詞，并在標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行了實驗，結(jié)果表明該方法，能有效地進(jìn)行查詢詞擴展，提高了檢索性能。 為解決網(wǎng)頁分級HITS和PageRank算法中共同的缺陷主題“漂移”問題，結(jié)合用戶的歷史查詢詞，采用模糊粗糙集的理論來描述個人興趣與文檔之

5、間的不確定關(guān)系，在比較個人興趣和網(wǎng)頁相似度中，采用了上近似集相似與下近似相似結(jié)合的方法，實現(xiàn)了一種基于模糊粗糙集的個人興趣網(wǎng)頁分級算法。實驗結(jié)果說明基于興趣的PageRank方法是可行的。 分析總結(jié)了粗糙集理論的Web分類一般方法，指出大多數(shù)方法都是把預(yù)先定義的類別看成是互斥的概念，很少考慮類與類之間有相聯(lián)系的概念。利用Web文檔特征詞同時出現(xiàn)的價值，用容錯粗糙集描述這種聯(lián)系，給出了基于容錯粗糙集的Web文檔分類方法，該方法抓住