擴(kuò)展語(yǔ)景圖聚焦爬取器實(shí)驗(yàn)研究.pdf

1、Internet的問(wèn)世，改變了傳統(tǒng)的信息發(fā)布組織方式，實(shí)現(xiàn)了全球范圍內(nèi)的信息共享。在Internet上，用戶(hù)可以登陸網(wǎng)站，瀏覽網(wǎng)頁(yè)，下載自己感興趣的信息。但是，網(wǎng)上信息缺少統(tǒng)一的組織標(biāo)準(zhǔn)。信息的動(dòng)態(tài)、高速增長(zhǎng)使得人們難以及時(shí)有效地獲得與特定專(zhuān)題有關(guān)的信息。 Internet網(wǎng)上提供信息最常見(jiàn)的方式為門(mén)戶(hù)網(wǎng)站，例如Yahoo，網(wǎng)易等提供主題目錄，但是這種主題分類(lèi)過(guò)于寬泛，難以滿(mǎn)足專(zhuān)家、學(xué)者的要求。用戶(hù)查到的信息過(guò)于淺顯，不能滿(mǎn)足科

2、研工作的需要。 搜索引擎的問(wèn)世，解決了信息的定位問(wèn)題，但是第一代搜索引擎例如AltaVista提供的是全文索引，排名只依據(jù)查詢(xún)向量與文檔向量的余弦相似度。這種基于局部信息的排名策略不能解決專(zhuān)題信息的收集，返回的結(jié)果太多太亂。 后來(lái)的搜索引擎Goolge利用自己的全局網(wǎng)頁(yè)排名算法PageRank，較好的解決了結(jié)果的排名。但是它的目標(biāo)主要是網(wǎng)上信息的覆蓋率，與清新度產(chǎn)生矛盾。其網(wǎng)頁(yè)排名值需要在三個(gè)月之后才能進(jìn)入排名系統(tǒng)。因此

3、，依靠通用搜索引擎也不易及時(shí)獲得專(zhuān)題信息。 聚焦搜索系統(tǒng)彌補(bǔ)了通用搜索引擎的不足。它利用機(jī)器學(xué)習(xí)技術(shù)，根據(jù)用戶(hù)要求，在網(wǎng)上自動(dòng)收集用戶(hù)指定的專(zhuān)題信息，響應(yīng)快、信息質(zhì)量高、自動(dòng)化。尤其適合輔助解決科技人員在科研過(guò)程中收集查詢(xún)特定領(lǐng)域技術(shù)信息的需要。 基于語(yǔ)景圖的聚焦爬取器是近年提出的一種聚焦搜索爬取技術(shù)。它通過(guò)分析網(wǎng)頁(yè)內(nèi)容和鏈接，指導(dǎo)爬取器沿著迅速導(dǎo)向目標(biāo)文檔的路線前進(jìn)，可以以較少的爬取無(wú)關(guān)網(wǎng)頁(yè)為代價(jià)，迅速找到更多的目標(biāo)文

4、檔。這一特點(diǎn)，對(duì)于專(zhuān)題信息收集，開(kāi)展專(zhuān)題研究，具有極大的好處。 語(yǔ)景圖聚焦爬取器信息利用率較低。而在實(shí)際工作中，可能需要一些次要的相關(guān)信息。為此，本文用隨機(jī)爬取器建立語(yǔ)料庫(kù)，用語(yǔ)料庫(kù)和TF-IDF公式提取特征詞條。利用種子文檔中的鏈接建立擴(kuò)展語(yǔ)景圖的右層，使擴(kuò)展后的語(yǔ)景圖(ECG)能夠收集種子文檔所引用的文獻(xiàn)之類(lèi)的信息。設(shè)計(jì)實(shí)現(xiàn)的ECG爬取器原型利用自行開(kāi)發(fā)的元搜索程序獲取種子文檔，利用ECG的各層文檔訓(xùn)練各層NB分類(lèi)器。利用分

5、類(lèi)器預(yù)測(cè)目前已經(jīng)檢索到的文檔距離目標(biāo)文檔的大致距離。通過(guò)輸入好起點(diǎn)和差起點(diǎn)網(wǎng)址進(jìn)行了實(shí)驗(yàn)。 程序?qū)嶒?yàn)證明，和語(yǔ)景圖(CG)爬取器相比，這種ECG爬取器不僅信息利用率高，而且對(duì)已爬取網(wǎng)址的查重在各層已下載隊(duì)列中進(jìn)行，因而ECG爬取器更適合于大規(guī)模爬取。ECG爬取器不僅采集到相關(guān)度高的網(wǎng)頁(yè)，而且同時(shí)獲得了較多的主題信息。而在CG背景下，這些網(wǎng)頁(yè)可能被分到“其他”類(lèi)而只起到維持連續(xù)爬取功能。實(shí)驗(yàn)還發(fā)現(xiàn)，CG或ECG的層數(shù)與后鏈一層的收

6、獲率存在一定的關(guān)系。通過(guò)適當(dāng)構(gòu)造ECG，ECG爬取器還可以爬取具有類(lèi)似結(jié)構(gòu)的網(wǎng)站，用以收集著名研究機(jī)構(gòu)的論文或國(guó)外一些高校的主干課程的課件。 這種基于機(jī)器學(xué)習(xí)、Web爬取技術(shù)的軟件原型，和傳統(tǒng)的信息檢索工具相比，具有很多的優(yōu)勢(shì)。首先，它是一種運(yùn)行在網(wǎng)上的自動(dòng)信息檢索工具。用戶(hù)可以將自己已經(jīng)收集的結(jié)果作為訓(xùn)練文檔提交爬取器學(xué)習(xí)，然后啟動(dòng)爬取器運(yùn)行。爬取器在爬取到用戶(hù)預(yù)設(shè)數(shù)目的結(jié)果之后返回結(jié)果列表。其次，它能自動(dòng)判讀網(wǎng)頁(yè)內(nèi)容，最后，