搜索引擎中大型網(wǎng)站的網(wǎng)頁(yè)更新策略研究.pdf

1、在互聯(lián)網(wǎng)飛速發(fā)展的今天，網(wǎng)絡(luò)逐漸成為人們獲取信息的一個(gè)不可或缺的途徑，因此基于Internet信息檢索的搜索引擎應(yīng)運(yùn)而生并蓬勃發(fā)展起來。但是隨著網(wǎng)頁(yè)數(shù)量的爆炸式增長(zhǎng)，網(wǎng)頁(yè)內(nèi)容時(shí)常變化，導(dǎo)致搜索引擎無法及時(shí)跟蹤網(wǎng)頁(yè)本身的內(nèi)容變化情況。加上搜索引擎又受存儲(chǔ)容量、服務(wù)器能力等硬件資源的限制，目前的搜索引擎普遍存在索引庫(kù)更新不及時(shí)，查詢結(jié)果質(zhì)量不高等問題。如何在這些客觀條件的制約下，設(shè)計(jì)一種高性能高效率的網(wǎng)頁(yè)更新策略，使得搜索引擎抓取更高質(zhì)量的

2、網(wǎng)頁(yè)，提高網(wǎng)頁(yè)庫(kù)的新鮮度，已成為搜索引擎迫切需要解決的問題。
　　 大型網(wǎng)站是Web的信息核心，也是搜索引擎的主要信息來源，對(duì)大型網(wǎng)站網(wǎng)頁(yè)處理的好壞直接影響搜索引擎的整體性能。因此本文試圖通過對(duì)大型網(wǎng)站網(wǎng)頁(yè)的高效更新來提高搜索引擎索引庫(kù)的更新度。
　　 本文在對(duì)搜索引擎網(wǎng)頁(yè)更新策略進(jìn)行相關(guān)研究的基礎(chǔ)上，深入地分析比較了現(xiàn)有的三大類網(wǎng)頁(yè)更新策略，確定了對(duì)大型網(wǎng)站的網(wǎng)頁(yè)進(jìn)行分類更新的必要性。本文針對(duì)大型網(wǎng)站的網(wǎng)頁(yè)特征，綜合考

3、慮網(wǎng)頁(yè)時(shí)新性、重要性及對(duì)Web服務(wù)器的友好性等因素，設(shè)計(jì)了一種面向用戶體驗(yàn)的分類網(wǎng)頁(yè)更新策略。此方法以大型網(wǎng)站網(wǎng)頁(yè)的變化歷史為基礎(chǔ)來評(píng)估其改變頻率，將網(wǎng)頁(yè)分成速變、多變及少變?nèi)?，然后基于用戶行為分析確定不同類別網(wǎng)頁(yè)的更新速度和更新時(shí)間段，從而實(shí)現(xiàn)網(wǎng)頁(yè)更新。
　　 最后利用Lucene工具包設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)分類網(wǎng)頁(yè)更新系統(tǒng)，對(duì)新浪和搜狐這兩個(gè)知名大型站點(diǎn)若干網(wǎng)頁(yè)進(jìn)行實(shí)驗(yàn)采樣分析。實(shí)驗(yàn)結(jié)果表明這種策略很大程度上提高了搜索引擎中大型