主題爬蟲(chóng)穿越隧道算法研究與設(shè)計(jì).pdf

1、伴隨著互聯(lián)網(wǎng)及應(yīng)用和服務(wù)的普及，網(wǎng)上信息量以帶寬的指數(shù)級(jí)增長(zhǎng)，互聯(lián)網(wǎng)用戶信息檢索的難度和復(fù)雜度也不斷提高。因此，搜索引擎越來(lái)越引起人們的重視和關(guān)注。Google曾宣稱它們索引的網(wǎng)頁(yè)數(shù)目已達(dá)到10000億,中國(guó)的網(wǎng)頁(yè)規(guī)模也超過(guò)了100億，并且仍在以指數(shù)的增長(zhǎng)方式急劇猛增，面對(duì)如此浩瀚的信息資源，如何有效的提取并利用這些海量信息成為搜索引擎面臨的一個(gè)巨大挑戰(zhàn)。
　　為了提高搜索效率和滿足人們?nèi)找嬖鲩L(zhǎng)的個(gè)性化服務(wù)的需求，適應(yīng)特定領(lǐng)域、特

2、定人群的特定需求的主題搜索引擎（也稱專(zhuān)業(yè)搜索引擎和垂直搜索引擎）應(yīng)運(yùn)而生，并且越來(lái)越受到人們的青睞。主題搜索引擎只專(zhuān)注于與主題相關(guān)的高質(zhì)量網(wǎng)頁(yè)，保證了對(duì)主題相關(guān)信息的完全收錄和及時(shí)更新，具備“專(zhuān)，精，深”的特點(diǎn)，成為新一代搜索引擎的發(fā)展趨勢(shì)。搜索引擎爬取網(wǎng)頁(yè)是以網(wǎng)絡(luò)爬蟲(chóng)技術(shù)來(lái)實(shí)現(xiàn)的，而主題爬蟲(chóng)以何種策略高效爬取web信息，成為近年來(lái)爬蟲(chóng)研究地焦點(diǎn)之一。
　　本文著眼于提高主題爬蟲(chóng)的爬取效率，通過(guò)對(duì)VSM網(wǎng)頁(yè)分類(lèi)算法分析，從特征提取

3、、特征值計(jì)算和類(lèi)核心詞匯生成三方面改進(jìn)了VSM網(wǎng)頁(yè)分類(lèi)算法，其中對(duì)于特征值計(jì)算，本文從詞語(yǔ)的出現(xiàn)語(yǔ)義角度來(lái)考慮，給出了混合因素加權(quán)的特征項(xiàng)的權(quán)值計(jì)算方法，提高了文本相似度計(jì)算的精度。并結(jié)合“Better Parent Have Better Children”思想，提出了運(yùn)用相似度預(yù)測(cè)值動(dòng)態(tài)調(diào)整主題爬蟲(chóng)的爬行步數(shù)，通過(guò)靈活設(shè)置相似度預(yù)測(cè)的K值，引導(dǎo)爬蟲(chóng)穿越隧道，即動(dòng)態(tài)調(diào)整主題爬蟲(chóng)穿越隧道算法。該算法消除了K值設(shè)置過(guò)大引起的低爬準(zhǔn)率或過(guò)小