網(wǎng)頁(yè)搜索器中網(wǎng)頁(yè)數(shù)據(jù)維護(hù)算法的研究與改進(jìn).pdf

1、現(xiàn)有的網(wǎng)頁(yè)數(shù)據(jù)維護(hù)算法中,"按網(wǎng)頁(yè)變化頻率更新網(wǎng)頁(yè)"和"祛除鏡像網(wǎng)頁(yè)"是兩種很好的網(wǎng)頁(yè)數(shù)據(jù)維護(hù)方法.通過(guò)按網(wǎng)頁(yè)變化頻率類別更新網(wǎng)頁(yè),我們可以近似做到每次去更新變化了的網(wǎng)頁(yè),而不用訪問(wèn)沒(méi)變化的網(wǎng)頁(yè);發(fā)現(xiàn)并祛除鏡像網(wǎng)頁(yè),可以避免搜索器維護(hù)多個(gè)有相同或近似內(nèi)容的網(wǎng)頁(yè),節(jié)約系統(tǒng)的存儲(chǔ)空間,這兩個(gè)方法都可以極大的減少對(duì)網(wǎng)站的不必要訪問(wèn).對(duì)這兩個(gè)方法的深入研究,我們發(fā)現(xiàn)存在著兩個(gè)有待改進(jìn)的問(wèn)題.具體問(wèn)題及改進(jìn)算法如下:一.變化頻率分類:現(xiàn)有的網(wǎng)頁(yè)變

2、化頻率分類只是通過(guò)參考過(guò)去一段時(shí)間內(nèi)網(wǎng)頁(yè)是否變化這個(gè)特征來(lái)進(jìn)行變化頻率分類,該算法的分類時(shí)間長(zhǎng),且對(duì)于剛下載的網(wǎng)頁(yè),該方法無(wú)法分類.該文中,我們結(jié)合對(duì)網(wǎng)頁(yè)的動(dòng)靜態(tài)特征、域名特征、緩存特征的分析,提出了一種改進(jìn)的分類方法,使用該種方法,我們無(wú)須檢查網(wǎng)頁(yè)是否變化就可以進(jìn)行變化頻率分類,并且可以減小分類需要的時(shí)間,提高分類速度.二.鏡像網(wǎng)頁(yè)的祛除:即對(duì)已經(jīng)發(fā)現(xiàn)的互為鏡像的n個(gè)網(wǎng)頁(yè),我們應(yīng)該保留哪個(gè)網(wǎng)頁(yè),而去掉其余n-1個(gè)網(wǎng)頁(yè)?一般的方法是按發(fā)

3、現(xiàn)順序保留第一個(gè),去掉其余的鏡像,或是隨機(jī)選取其中一個(gè),去掉其余鏡像.這些方法都沒(méi)有考慮網(wǎng)頁(yè)的重要性.該文中我們提出了一種與PageRank算法相結(jié)合的最優(yōu)策略,即先計(jì)算出所有網(wǎng)頁(yè)的PageRank值,然后對(duì)于相同的鏡像保留PageRank值最高(即最重要的)的網(wǎng)頁(yè),祛除其余網(wǎng)頁(yè).使用這種方法,我們可以確保系統(tǒng)中維護(hù)的都是高質(zhì)量的網(wǎng)頁(yè).最后,作為論文的一部分,我們實(shí)現(xiàn)了一個(gè)綜合使用上述改進(jìn)算法的網(wǎng)頁(yè)搜索器,并進(jìn)行了為時(shí)2個(gè)月的實(shí)驗(yàn),該實(shí)