基于在線(xiàn)增量學(xué)習(xí)的自適應(yīng)聚焦爬蟲(chóng)研究

1、基于在線(xiàn)增量學(xué)習(xí)的自適應(yīng)聚焦爬蟲(chóng)研究.txt人生在世，難敵宿命，沉淪其中。我不愛(ài)風(fēng)塵，似被前緣誤?。∥抑粸槲易?lèi)?ài)的人流淚“我會(huì)學(xué)著放棄你，是因?yàn)槲姨珢?ài)你”贏了你我可以放棄整個(gè)世界本文由fatcat132006貢獻(xiàn)pdf文檔可能在WAP端瀏覽體驗(yàn)不佳。建議您優(yōu)先選擇TXT，或下載源文件到本機(jī)查看。第26卷第5期2009年5月計(jì)算機(jī)應(yīng)用與軟件ComputerApplicationsSoftware基于在線(xiàn)增量學(xué)習(xí)的自適應(yīng)聚焦爬蟲(chóng)研究朱婷12

2、12滕桂法陸浩張長(zhǎng)利曾大軍1222(河北農(nóng)業(yè)大學(xué)信息科學(xué)與技術(shù)學(xué)院河北保定071001)(中科院自動(dòng)化所復(fù)雜系統(tǒng)與智能科學(xué)實(shí)驗(yàn)室北京100190)摘要在原始分類(lèi)器聚焦爬蟲(chóng)的基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)在線(xiàn)增量學(xué)習(xí)的自適應(yīng)聚焦爬蟲(chóng)。該聚焦爬蟲(chóng)包括一個(gè)基礎(chǔ)網(wǎng)頁(yè)分類(lèi)器和一個(gè)在線(xiàn)增量學(xué)習(xí)自適應(yīng)鏈接分類(lèi)器?；A(chǔ)頁(yè)面分類(lèi)器根據(jù)領(lǐng)域知識(shí)對(duì)抓取到的頁(yè)面內(nèi)容主題相關(guān)性進(jìn)行分類(lèi)。在線(xiàn)增量學(xué)習(xí)自適應(yīng)鏈接分類(lèi)器能即時(shí)根據(jù)爬蟲(chóng)爬得網(wǎng)頁(yè)和網(wǎng)頁(yè)鏈接信息作出分類(lèi)模型調(diào)整以更合理方

3、式計(jì)算鏈接的主題相關(guān)度。系統(tǒng)中鏈接排序模塊采用TopicalRank主題相關(guān)度計(jì)算方法分析鏈接優(yōu)先抓取順序。把基于增量學(xué)習(xí)的自適應(yīng)聚焦爬蟲(chóng)應(yīng)用到農(nóng)業(yè)領(lǐng)域?qū)嶒?yàn)結(jié)果和分析證明在線(xiàn)增量學(xué)習(xí)的自適應(yīng)聚焦爬蟲(chóng)在農(nóng)業(yè)領(lǐng)域爬行性能比僅基于網(wǎng)頁(yè)相關(guān)性和鏈接重要度的原始分類(lèi)器聚焦爬蟲(chóng)具有更好的性能。關(guān)鍵詞在線(xiàn)增量學(xué)習(xí)TopicalRank聚焦爬蟲(chóng)農(nóng)業(yè)領(lǐng)域隨著Inter的快速發(fā)展網(wǎng)絡(luò)資源成為巨大的知識(shí)庫(kù)搜索引擎已經(jīng)成為網(wǎng)絡(luò)用戶(hù)獲取各種信息的一種重要手段。目

4、前如Google、Baidu等大多數(shù)是面向所有信息的搜索引擎可以稱(chēng)之為通用搜索引擎。隨著信息多元化的增長(zhǎng)適用于所有用戶(hù)的通用搜索引擎已經(jīng)不能滿(mǎn)足特定用戶(hù)更深入的查詢(xún)需求他們對(duì)信息的需求往往是針對(duì)特定領(lǐng)域和面向特定主題的此時(shí)通用搜索引擎的搜索效果難以滿(mǎn)足有特定需求的用戶(hù)。針對(duì)這種情況一個(gè)分類(lèi)精確、數(shù)據(jù)全面、更新及時(shí)的面向主題的搜索引擎———垂直搜索引擎應(yīng)運(yùn)而生。聚焦爬蟲(chóng)是一個(gè)自動(dòng)提取網(wǎng)頁(yè)的程序它為垂直搜索引擎從萬(wàn)維網(wǎng)上下載網(wǎng)頁(yè)是垂直搜索引

5、擎的重要組成部分。它根據(jù)抓取目標(biāo)有選擇地訪(fǎng)問(wèn)網(wǎng)頁(yè)和相關(guān)的鏈接并獲取所需要的AbstractAnadaptivefocusedcrawlerofonline2incrementallearningbasedonprimitiveclassificationfocusedcrawlerisdesignedre2perfmancethantheprimitiveclassifierfocusedcrawlerbasedonlyonwebpag

6、es’crelationlinkimptancedegree.KeywdsOnline2IncrementallearningTopicalRankFocusedcrawlerAgriculturefieldalizedinthisarticle.Thecrawler’architectureincludesabasicwebpageclassifieranonline2incrementallearningadaptivelinkcl

7、assifiers.incrementallearningurl所指網(wǎng)頁(yè)。爬行模塊采用開(kāi)源網(wǎng)絡(luò)爬蟲(chóng)Heritrix框架來(lái)實(shí)現(xiàn)它的出色之處在于可擴(kuò)展性通過(guò)擴(kuò)展它的組件來(lái)實(shí)現(xiàn)自定義的抓取邏輯。爬行模塊在抓取中可以獲取完整、精確的站點(diǎn)內(nèi)容包括文本和非文本信息將內(nèi)容存儲(chǔ)到爬蟲(chóng)數(shù)據(jù)庫(kù)。爬行模塊采用多線(xiàn)程技術(shù)以提高系統(tǒng)的處理速度。圖1基于分類(lèi)器聚焦爬蟲(chóng)體系結(jié)構(gòu)[1]根據(jù)一個(gè)主題目錄和用戶(hù)指定的初始點(diǎn)(如書(shū)簽)來(lái)描述抓取目標(biāo)并在用戶(hù)瀏覽過(guò)程中將用戶(hù)標(biāo)

8、注的感興趣網(wǎng)頁(yè)放人相應(yīng)的主題目錄修改主題樣本。系統(tǒng)的兩個(gè)主要部分是網(wǎng)頁(yè)分類(lèi)器(classifier)和網(wǎng)頁(yè)選擇器(distiller)。網(wǎng)頁(yè)分類(lèi)器負(fù)責(zé)學(xué)習(xí)抓取目標(biāo)的特點(diǎn)計(jì)算網(wǎng)頁(yè)的關(guān)聯(lián)度并過(guò)濾網(wǎng)頁(yè)。選擇器負(fù)責(zé)計(jì)算網(wǎng)頁(yè)的重要程度發(fā)現(xiàn)中心型網(wǎng)頁(yè)并由此動(dòng)態(tài)決定網(wǎng)頁(yè)的訪(fǎng)問(wèn)順序。早期的聚焦爬蟲(chóng)不考慮鏈接主題相關(guān)性分析直接在網(wǎng)頁(yè)分類(lèi)器主題相關(guān)性分析后把保留下來(lái)的正向鏈接放到鏈接排序模塊等待爬行url優(yōu)先隊(duì)列提供給爬蟲(chóng)繼續(xù)爬行。一般采用以PageRan

9、k[2]和HITS[3]為代表的基于網(wǎng)頁(yè)鏈接結(jié)構(gòu)的搜索策略通過(guò)分析網(wǎng)頁(yè)之間的相互鏈接關(guān)系來(lái)確定網(wǎng)頁(yè)的重要性進(jìn)而決定鏈接訪(fǎng)問(wèn)順序。該方法考慮了鏈接結(jié)構(gòu)和網(wǎng)頁(yè)之間的相互鏈接關(guān)系但忽略了頁(yè)面與主題的相關(guān)性。大量研究表明PageRank算法只適合于發(fā)現(xiàn)權(quán)威網(wǎng)頁(yè)不適合發(fā)現(xiàn)主題資源2.2基礎(chǔ)網(wǎng)頁(yè)分類(lèi)器基礎(chǔ)網(wǎng)頁(yè)分類(lèi)器通過(guò)農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)來(lái)指導(dǎo)訓(xùn)練這里設(shè)計(jì)的是一個(gè)NaveBayes分類(lèi)器。研究表明NaveBayes是較快的一種分類(lèi)方法效果也較好理論上錯(cuò)誤

10、率最低。該方法對(duì)于文本di求條件概率P(cj|di)條件概率最大的那個(gè)類(lèi)別作為最終選擇類(lèi)別計(jì)算時(shí)引入Term獨(dú)立性假設(shè)。Beyes公式如下:p(cj|di)=p(di|cj)p(cj)∝p(di|cj)p(cj)p(di)r其中p(di|cj)=∏p(wk=1ik|cj)ter獨(dú)立性假設(shè)。m=N(cj)p(cj)=cj的文檔個(gè)數(shù)總文檔個(gè)數(shù)∑N(c)kk在某些情況下HITS會(huì)出現(xiàn)搜索偏離主題的“主題漂移”。問(wèn)題p(w|cj)=w在cj類(lèi)別

11、文檔中出現(xiàn)的次數(shù)cj類(lèi)文檔中所有出現(xiàn)的ter的次數(shù)m2增量自適應(yīng)聚焦爬蟲(chóng)設(shè)計(jì)在基于分類(lèi)器聚焦爬蟲(chóng)的基礎(chǔ)上為提高爬蟲(chóng)高效、準(zhǔn)確的領(lǐng)域爬行性能僅考慮鏈接重要性是不夠的。本系統(tǒng)添加一個(gè)在線(xiàn)學(xué)習(xí)鏈接分類(lèi)器對(duì)鏈接的主題相關(guān)性進(jìn)行分類(lèi)它能通過(guò)學(xué)習(xí)來(lái)改進(jìn)鏈接主題相關(guān)性的判斷能力。并在鏈接排序模塊采用TopicalRank考慮頁(yè)面主題相關(guān)性和正向鏈接主題相關(guān)性相結(jié)合的url優(yōu)先排序策略。增量自適應(yīng)聚焦爬蟲(chóng)系統(tǒng)由四個(gè)主要模塊組成:爬行模塊、基礎(chǔ)網(wǎng)頁(yè)分類(lèi)器