基于布谷鳥搜索算法的主題爬蟲搜索策略研究

1、密級(jí)碩士學(xué)位論文碩士學(xué)位論文（全日制專業(yè)學(xué)位碩士）（全日制專業(yè)學(xué)位碩士）題目題目基于布谷鳥搜索算法的主題爬蟲搜索策略研究（英文）（英文）ResearchonSearchStrategyofTopicCrawlerBasedonCuckooSearchAlgithm研究生學(xué)號(hào)研究生學(xué)號(hào):1408305024研究生姓名研究生姓名:錢競(jìng)遠(yuǎn)錢競(jìng)遠(yuǎn)指導(dǎo)教師姓名、職稱指導(dǎo)教師姓名、職稱:楊輝華教授楊輝華教授申請(qǐng)學(xué)位類別申請(qǐng)學(xué)位類別:工程碩士工程碩士

2、領(lǐng)域領(lǐng)域:控制工程控制工程論文答辯日期論文答辯日期:2017年6月摘要I摘要隨著網(wǎng)絡(luò)信息量的快速增長(zhǎng)，互聯(lián)網(wǎng)已經(jīng)成為最大的資訊庫，網(wǎng)頁數(shù)量呈現(xiàn)指數(shù)級(jí)增長(zhǎng)，導(dǎo)致通用搜索引擎檢索針對(duì)性下降，不能很好滿足用戶對(duì)網(wǎng)頁檢索的個(gè)性化要求。與傳統(tǒng)搜索引擎相比，主題搜索引擎有選擇的搜索主題相關(guān)網(wǎng)頁，向有特定需要的用戶提供檢索服務(wù)，從而能更好地滿足用戶個(gè)性化檢索需求。主題爬蟲作為主題搜索引擎工作的第一步，作用非常重要，其效果好壞取決于搜索策略，所以搜索策

3、略的好壞直接影響搜索引擎的性能，更影響用戶的檢索體驗(yàn)。因此研究主題爬蟲用何種搜索策略抓取網(wǎng)頁具有非常重要的意義。論文首先綜述搜索引擎的組成結(jié)構(gòu)及種類，剖析主題爬蟲與通用爬蟲的區(qū)別，并總結(jié)了目前幾種常見的主題爬蟲搜索策略，介紹了網(wǎng)絡(luò)爬蟲需要用到的重要技術(shù)，如網(wǎng)頁去重、分詞，運(yùn)用向量空間模型判斷主題相關(guān)性，以及MySQL數(shù)據(jù)庫技術(shù)。本文提出一種基于布谷鳥搜索算法的主題爬蟲搜索策略。該算法具有參數(shù)少、易操作、易實(shí)現(xiàn)、隨機(jī)路徑優(yōu)和全局尋優(yōu)能力強(qiáng)

4、等優(yōu)點(diǎn)，能夠很好地解決目前主題爬蟲的兩個(gè)問題：“主題漂移”和“隧道現(xiàn)象”，即易陷入局部網(wǎng)頁鏈接和對(duì)鏈接距離較遠(yuǎn)但相關(guān)度高的網(wǎng)頁不能實(shí)時(shí)抓取，從而提高檢索質(zhì)量。論文設(shè)計(jì)了對(duì)比實(shí)驗(yàn)，與基于Hits算法搜索策略和BreadthFirst算法搜索策略對(duì)比，比較三種算法的查準(zhǔn)率，實(shí)驗(yàn)結(jié)果顯示本文提出的搜索策略的網(wǎng)頁查準(zhǔn)率優(yōu)于另外兩種算法。本文研發(fā)了一套適用于主題搜索引擎需要的分布式、參數(shù)可動(dòng)態(tài)配置、功能可擴(kuò)展的主題爬蟲程序。采用多線程的網(wǎng)頁信息采