基于網(wǎng)頁(yè)更新頻率預(yù)測(cè)的增量爬蟲(chóng)研究.pdf

1、近幾年互聯(lián)網(wǎng)發(fā)展迅速,從網(wǎng)頁(yè)的整體規(guī)模角度分析,網(wǎng)頁(yè)的數(shù)量以前所未有的速度增加;就單個(gè)網(wǎng)頁(yè)的更新速率而言,只有部分網(wǎng)頁(yè)的更新頻率較快。以上這些因素給搜索引擎帶來(lái)了極大的挑戰(zhàn),因此在快、準(zhǔn)、全、新的衡量標(biāo)準(zhǔn)下,針對(duì)信息采集的爬蟲(chóng)爬行策略的研究有著重要的意義。
　　本文圍繞著能夠在實(shí)際環(huán)境中提高爬蟲(chóng)爬行效率的需求,在深入研究了爬蟲(chóng)的工作原理的基礎(chǔ)上，首先通過(guò)關(guān)于時(shí)間序列的數(shù)學(xué)建模,提出了網(wǎng)頁(yè)更新頻率預(yù)測(cè)的爬行策略。其次提出了建立了評(píng)價(jià)

2、網(wǎng)頁(yè)更新頻率預(yù)測(cè)效果的標(biāo)準(zhǔn)數(shù)據(jù)集的思想,并建立了部分?jǐn)?shù)據(jù)集,以可定制的時(shí)間、網(wǎng)頁(yè)變化粒度記錄了網(wǎng)頁(yè)變化過(guò)程,方便其他研究人員的使用。最后在標(biāo)準(zhǔn)數(shù)據(jù)集的基礎(chǔ)上對(duì)網(wǎng)頁(yè)更新頻率的數(shù)學(xué)模型不斷進(jìn)行優(yōu)化和改進(jìn),能夠應(yīng)用到實(shí)際系統(tǒng)中。
　　本文研究的內(nèi)容和成果歸結(jié)為以下方面:
　　首先,結(jié)合爬蟲(chóng)實(shí)際應(yīng)用需求和時(shí)間序列的相關(guān)理論,提出了基于馬爾科夫鏈的網(wǎng)頁(yè)更新預(yù)測(cè)的數(shù)據(jù)模型,驗(yàn)證了預(yù)測(cè)網(wǎng)頁(yè)更新頻率在實(shí)際應(yīng)用的可行性。
　　其次,建立

3、了評(píng)價(jià)網(wǎng)頁(yè)更新頻率預(yù)測(cè)效果的標(biāo)準(zhǔn)數(shù)據(jù)集。標(biāo)準(zhǔn)數(shù)據(jù)集的數(shù)據(jù)來(lái)源從橫向上來(lái)自于不同類型網(wǎng)站,從縱向上來(lái)自于同一站點(diǎn)的不同類型網(wǎng)頁(yè),形成多維度的網(wǎng)頁(yè)采集結(jié)構(gòu),保證網(wǎng)頁(yè)的多樣性、針對(duì)性、代表性。以可定制的時(shí)間粒度和網(wǎng)頁(yè)變化粒度記錄了網(wǎng)頁(yè)變化過(guò)程,使得其他相關(guān)研究人員無(wú)需下載網(wǎng)頁(yè)就可以通過(guò)記錄的數(shù)據(jù)進(jìn)行網(wǎng)頁(yè)更新的預(yù)測(cè)和對(duì)預(yù)測(cè)結(jié)果進(jìn)行評(píng)價(jià)。
　　然后,在建立的標(biāo)準(zhǔn)數(shù)據(jù)集上通過(guò)準(zhǔn)確率、命中率、覆蓋率、F-measure等評(píng)價(jià)指標(biāo)對(duì)基于馬爾科夫鏈