基于在線自學(xué)習(xí)的頁面更新頻率預(yù)測算法.pdf

1、近年來,互聯(lián)網(wǎng)的整體規(guī)模越來越大,作為搜索引擎采集模塊的爬蟲的工作壓力與日俱增,即使最專業(yè)的搜索引擎服務(wù)提供商,如谷歌、百度,也無法保證所有頁面的時效性。而就單個頁面而言,只有部分頁面的變化頻率較快。因而,通過頁面更新頻率預(yù)測算法使爬蟲只下載那些變化了的網(wǎng)頁,對減輕爬蟲的工作壓力有著重要的意義。
　　本文圍繞著如何在實際環(huán)境中有效預(yù)測網(wǎng)頁變化的需要,在深入研究了網(wǎng)頁變化規(guī)律的基礎(chǔ)上,基于在線抽樣檢測的算法思想,研究了網(wǎng)頁不同特征集

2、對基于聚類的抽樣檢測算法的影響,特征集包括詞向量特征、文本特征、URL特征、動態(tài)特征等。在此基礎(chǔ)上創(chuàng)新性的提出了遺傳基因特征的概念,利用遺傳基因特征實現(xiàn)了自學(xué)習(xí)的優(yōu)化算法。為了確定實驗效果、評價我們的算法,我們搜集了一個真實網(wǎng)頁集合的真實變化情況,建立了實驗數(shù)據(jù)集。
　　本文研究的內(nèi)容和成果歸結(jié)為以下方面:
　　首先,建立了評價網(wǎng)頁更新頻率預(yù)測效果的實驗數(shù)據(jù)集。實驗數(shù)據(jù)集來源于不同類型網(wǎng)站的不同類型網(wǎng)頁,保證網(wǎng)頁集合的多樣性

3、與代表性,使得其他研究人員可以在此數(shù)據(jù)集上進(jìn)行網(wǎng)頁更新的預(yù)測的相關(guān)研究。數(shù)據(jù)集網(wǎng)頁數(shù)量約為30萬,分布在不同的122個網(wǎng)站上。
　　然后,提取了網(wǎng)頁的詞向量特征、文本特征、URL特征、動態(tài)特征等,研究了不同特征集對基于聚類的在線抽樣檢測算法的影響,并利用預(yù)測命中率評價指標(biāo)量化了不同特征集對聚類算法實驗效果的影響,進(jìn)而分析了聚類算法的有效性與性能上限。
　　最后,本文提出了利用遺傳基因特征自動優(yōu)化下一輪的特征,進(jìn)而實現(xiàn)了在線自