Web信息檢索及網(wǎng)頁分類方法的研究.pdf

1、Web IR技術(shù)研究應(yīng)用文本檢索研究的成果,同時(shí)結(jié)合Web圖論以及社會(huì)網(wǎng)絡(luò)分析等思想,研究Web上的信息檢索,是行之有效的Web知識(shí)發(fā)現(xiàn)的途徑.目前國際上研究的重點(diǎn)集中于Web IR領(lǐng)域,比如Google.傳統(tǒng)HITS方法所獲得的信息精確度相當(dāng)?shù)?而PageRank作為一通用的搜索方法,不能夠應(yīng)用于特定主題的信息獲取.在充分分析PageRank、HITS等現(xiàn)有算法和Web文檔的相似度計(jì)算方法的基礎(chǔ)上,介紹了Web圖的特性和性質(zhì),探討了一

2、個(gè)Web演化生成的模型;分析了虛擬Web文檔的表示方法,提出了Web上查詢特定主題相關(guān)信息發(fā)現(xiàn)的SG-HITS算法.它結(jié)合了Web超鏈接、網(wǎng)頁知識(shí)表示的信息相關(guān)度以及HITS方法來搜索Web上特定主題的相關(guān)知識(shí);并通過它們搜索網(wǎng)上有關(guān)醫(yī)藥的信息和知識(shí),其效果和查準(zhǔn)率與傳統(tǒng)HITS和IR方法相比有一定提高.由于沒有一個(gè)搜索引擎系統(tǒng)在所有的情況下性能表現(xiàn)得比其他的每一個(gè)都好,同時(shí)還存在精度不高、覆蓋面不廣等弱點(diǎn),因此研究元搜索引擎是必要的.

3、提出了兩類三種元搜索中的傳統(tǒng)數(shù)據(jù)融合方法:基于線性組合的相似度融合、基于排序的Unbiased和Biased-Bayes融合.傳統(tǒng)的文本分類方法如NB、Naive Bayes、SVM,它們簡(jiǎn)單用于網(wǎng)頁分類的效果不好.針對(duì)以上問題研究了基于信息論的新測(cè)度GR,并結(jié)合Hyperlink和線性分類器,基于PageRank的思想提出了通過矩陣冪計(jì)算的分類方法.實(shí)驗(yàn)表明通過它分類網(wǎng)上有關(guān)醫(yī)藥的信息和知識(shí),其分類效果比傳統(tǒng)IR方法有一定提高.另外探