基于用戶(hù)本體的初始URLs選擇方法的研究.pdf

1、近年來(lái)，隨著Internet/Web技術(shù)的快速普及和迅猛發(fā)展，其為人們提供了豐富的信息資源的同時(shí)，它所具有的海量數(shù)據(jù)、復(fù)雜性、極強(qiáng)的動(dòng)態(tài)性和用戶(hù)的多態(tài)性等特點(diǎn)也給搜索引擎造成了相當(dāng)?shù)碾y度。因此，面向主題的智能檢索系統(tǒng)應(yīng)運(yùn)而生并引起了研究者的極大重視。主題搜索引擎的爬行蟲(chóng)，稱(chēng)為主題爬行蟲(chóng)，它自動(dòng)識(shí)別主題信息，快速、有選擇地遍歷與主題相關(guān)的區(qū)域并下載網(wǎng)頁(yè)，為面向主題的用戶(hù)查詢(xún)準(zhǔn)備數(shù)據(jù)資源。但是對(duì)于Web自身復(fù)雜的結(jié)構(gòu)和主題爬行蟲(chóng)的實(shí)時(shí)性，如

2、何提高主題爬行蟲(chóng)的主題識(shí)別能力?如何在較短時(shí)間內(nèi)下載更多與主題相關(guān)的網(wǎng)頁(yè)?如何穿過(guò)與主題無(wú)關(guān)的網(wǎng)頁(yè)到達(dá)與用戶(hù)興趣主題相關(guān)的網(wǎng)頁(yè)?這些是目前主題搜索的研究焦點(diǎn)。本文研究的內(nèi)容是從理論和實(shí)驗(yàn)證明初始URLs的選擇對(duì)于主題爬行蟲(chóng)在爬行初期具有重要的引導(dǎo)作用，最后提出有效可行的解決方案。 首先，本文通過(guò)模擬Web鏈接結(jié)構(gòu)的實(shí)驗(yàn)驗(yàn)證了：為主題爬行蟲(chóng)選擇好的初始URLs，可以在較短時(shí)間內(nèi)下載更多與主題相關(guān)的網(wǎng)頁(yè)，尤其是在爬行的初期階段。從而

3、驗(yàn)證了本課題的可行性與價(jià)值。 其次，本文在分析Web鏈接結(jié)構(gòu)的同時(shí)結(jié)合網(wǎng)頁(yè)內(nèi)容的語(yǔ)義信息提出了基于用戶(hù)本體的初始URLs選擇的算法OntoSelectSeeds。該算法的特點(diǎn)是:①對(duì)HITS算法中獲取基礎(chǔ)集（Base Set）的過(guò)程進(jìn)行了改進(jìn)。由于HITS算法純粹基于鏈接分析來(lái)發(fā)現(xiàn)權(quán)威網(wǎng)頁(yè)，在把根集（Root Set）擴(kuò)展到基礎(chǔ)集（Base Set）的時(shí)候完全不考慮網(wǎng)頁(yè)的具體內(nèi)容，導(dǎo)致了“主題漂移”的現(xiàn)象。因此，本文通過(guò)引入“用

4、戶(hù)本體”加權(quán)擴(kuò)展用戶(hù)的興趣主題，然后使用該主題來(lái)修剪HITS算法中的基礎(chǔ)集（Base Set），提高主題識(shí)別能力。②通過(guò)引入“完全二分圖”的概念，把在“圖中找連通分量”的問(wèn)題轉(zhuǎn)化為“在主題區(qū)域找完全二分子圖”的問(wèn)題，降低了算法實(shí)現(xiàn)的難度。③每次從Web上提取出一個(gè)完全二分子圖后，得到Hset和Aset兩個(gè)結(jié)點(diǎn)集合。使用它們回到Web中去找主題區(qū)域的其他部分，這樣爬行蟲(chóng)在提高系統(tǒng)精確度的同時(shí)，保證了系統(tǒng)的召回率。④最后把Hset和Aset

5、兩個(gè)結(jié)點(diǎn)集合分別從中心頁(yè)面集和權(quán)威頁(yè)面集中移除，并重新對(duì)中心頁(yè)面集和權(quán)威頁(yè)面集進(jìn)行排序，提取，刪除操作，反復(fù)迭代直到選擇了足夠數(shù)量的初始URL為止。 最后，通過(guò)實(shí)驗(yàn)從2個(gè)方面評(píng)價(jià)了本文提出的初始URLs選擇方法。①使用OntoSelectSeeds算法選擇初始URLs與任意指定初始URLs，比較爬行蟲(chóng)所下載網(wǎng)頁(yè)的PageRank值。②使用OntoSelectSeeds算法選擇初始URLs與任意指定初始URLs，比較爬行蟲(chóng)在相同時(shí)