主題爬蟲關(guān)鍵技術(shù)研究及應(yīng)用.pdf

1、近年來，隨著web信息資源的快速增長，通用搜索引擎存在無法檢索所有頁面的問題，也不能滿足人們?nèi)找嬖鲩L的個性化服務(wù)需要，因此各類適應(yīng)特定人群需要的主題搜索引擎應(yīng)運而生。為保證主題搜索引擎返回信息的準(zhǔn)確性，開展對承擔(dān)主題相關(guān)信息采集任務(wù)的主題爬蟲系統(tǒng)研究具有重要意義。
　　 主題爬蟲的基本工作原理是按照預(yù)先確定的主題，分析超鏈接和所抓取的網(wǎng)頁內(nèi)容，獲取下一個要爬行的URL，盡可能保證多爬行與主題相關(guān)的網(wǎng)頁。在主題爬蟲系統(tǒng)研究中，主要

2、涉及主題基準(zhǔn)模型、網(wǎng)頁分析方法和網(wǎng)頁搜索策略等方面的內(nèi)容。主題基準(zhǔn)模型是爬蟲判別所抓取網(wǎng)頁主題是否相關(guān)的依據(jù)，其研究重點是如何建立合適的主題基準(zhǔn)模型以及主題基準(zhǔn)模型和待判別網(wǎng)頁的映射關(guān)系，以提高對所抓取網(wǎng)頁的主題性判別；網(wǎng)頁分析方法主要分析所抓取網(wǎng)頁的內(nèi)容和超鏈接，研究如何對網(wǎng)頁內(nèi)容進行正確提取，以獲取網(wǎng)頁所表示的主題，避免網(wǎng)頁主題提取粒度不夠影響對該網(wǎng)頁的主題相關(guān)度判別；網(wǎng)頁搜索策略主要解決待訪問URL的次序問題，提高主題爬蟲覆蓋度。

3、目前的研究主要集中在通過預(yù)測URL的主題相關(guān)來決定URL訪問次序，但這樣又容易使主題爬蟲陷入局部尋優(yōu)的狀態(tài)。
　　 基于上述分析，本文主要從主題基準(zhǔn)模型、網(wǎng)頁分析方法和網(wǎng)頁搜索策略三方面展開研究，設(shè)計和構(gòu)建相應(yīng)的主題爬蟲系統(tǒng)框架，并以信用主題為應(yīng)用，實現(xiàn)主題爬蟲原型系統(tǒng)，并對相應(yīng)的實驗結(jié)果進行分析比較。本文主要研究工作包括以下幾個方面：
　　 1.對主題爬蟲系統(tǒng)的結(jié)構(gòu)開展研究，從提高主題爬蟲抓取質(zhì)量的角度出發(fā)，將主題基準(zhǔn)

4、模型、網(wǎng)頁分析方法和網(wǎng)頁搜索策略三個重要組成部分進行分析整合，設(shè)計了主題爬蟲系統(tǒng)的框架。
　　 2.從主題基準(zhǔn)模型建立方法和待判別網(wǎng)頁主題抽取上展開研究，通過統(tǒng)一主題基準(zhǔn)模型和待判別網(wǎng)頁的主題關(guān)鍵詞的權(quán)重設(shè)置，來提高爬蟲對網(wǎng)頁的主題性判別。
　　 3.針對常用的基于網(wǎng)頁結(jié)構(gòu)內(nèi)容塊提取方法中提取正文粒度不夠細(xì)問題，本文采用基于Tagwindow標(biāo)簽窗口進行網(wǎng)頁正文提取，以適應(yīng)于正文篇幅長和正文中鏈接比較少的網(wǎng)頁類型。