基于遺傳算法的主題爬蟲(chóng)搜索策略研究.pdf

1、傳統(tǒng)的搜索引擎需要對(duì)互聯(lián)網(wǎng)上的信息進(jìn)行廣泛的收集和分析處理，隨著互聯(lián)網(wǎng)的急劇膨脹，傳統(tǒng)的搜索引擎需要處理的網(wǎng)絡(luò)信息也越來(lái)越多，同時(shí)也就不可避免的為用戶提供了或多或少的無(wú)關(guān)信息。在專業(yè)化需求日益增長(zhǎng)的今天，主題搜索引擎以其分類細(xì)致精確、數(shù)據(jù)全面準(zhǔn)確的特點(diǎn)迅速流行起來(lái)，而主題搜索引擎的關(guān)鍵技術(shù)——主題爬蟲(chóng)的搜索策略就成為了近幾年的研究熱點(diǎn)。
　　 本文將遺傳算法應(yīng)用在主題爬蟲(chóng)的搜索中，引入遺傳算法來(lái)改進(jìn)爬蟲(chóng)的搜索策略，利用遺傳算法高

2、效、并行、全局尋優(yōu)的特點(diǎn)，提高爬蟲(chóng)的搜索效率。本文的研究?jī)?nèi)容主要有以下兩個(gè)方面：根據(jù)網(wǎng)絡(luò)特點(diǎn)改進(jìn)傳統(tǒng)的遺傳算法；通過(guò)實(shí)驗(yàn)驗(yàn)證改進(jìn)后的效果。
　　 基于遺傳算法的主題爬蟲(chóng)搜索策略，是將待檢索的問(wèn)題提交給通用搜索引擎，對(duì)其返回的結(jié)果集進(jìn)行處理，選擇一定數(shù)目的URL作為初始群體；通過(guò)交叉操作，提取初始群體中URL對(duì)應(yīng)頁(yè)面包含的所有超鏈，產(chǎn)生出大量新的個(gè)體，再對(duì)所有超鏈進(jìn)行相似度預(yù)測(cè)，選出相關(guān)度高的種子作為交叉結(jié)果；通過(guò)變異操作，引入目

3、錄型網(wǎng)頁(yè)，擴(kuò)大搜索范圍；通過(guò)選擇操作，對(duì)遺傳之后的結(jié)果進(jìn)行處理，選出相關(guān)度高的個(gè)體作為新一代的種子進(jìn)入新一輪的遺傳；通過(guò)爬蟲(chóng)終止搜索條件，來(lái)結(jié)束爬蟲(chóng)的搜索。
　　 本文在構(gòu)造初始群時(shí)，將待檢索的問(wèn)題提交給通用搜索引擎Google，對(duì)其返回的結(jié)果集選擇前n個(gè)URL，再擴(kuò)展、去重、計(jì)算Authority和Hub值，重點(diǎn)是引入了Alexa排名，然后依據(jù)綜合排名值選擇初始種子集合。在交叉過(guò)程，根據(jù)超鏈的錨文本有效地預(yù)測(cè)對(duì)應(yīng)的頁(yè)面與主題的