網(wǎng)絡(luò)信息動態(tài)采集策略的研究及應(yīng)用.pdf

1、在Internet高速發(fā)展的今天，網(wǎng)頁數(shù)量急劇的增長，給信息采集的硬件帶來極大的壓力，與此同時，搜索引擎中網(wǎng)絡(luò)爬蟲的“密集”抓取活動會阻礙普通用戶通過瀏覽器的正常訪問。網(wǎng)絡(luò)信息的采集策略對如何充分有效地利用Web信息源是至關(guān)重要的，有必要根據(jù)網(wǎng)頁自身更新的頻度來動態(tài)地調(diào)整搜索引擎采集的頻率。一方面可以有針對性的采集，網(wǎng)頁變化頻率加快時可以增加采集次數(shù)，網(wǎng)頁變化頻率放慢時可以減少采集次數(shù)；另一方面減少因網(wǎng)站集中于某時間點采集給硬件所帶來的

2、壓力。
　　 本文分析了網(wǎng)絡(luò)爬蟲原理及增量采集技術(shù)的特點，然后進一步研究了網(wǎng)頁的變化規(guī)律，介紹了相關(guān)行業(yè)數(shù)據(jù)采集方面的自適調(diào)節(jié)周期算法。針對目前網(wǎng)頁變化頻率閾值的確定仍然存在較大主觀性的情況，本文提出了四分位法，該方法是在采集過程中記錄下最近N次數(shù)據(jù)，利用四分位數(shù)自動確定該閾值。本研究中所應(yīng)用網(wǎng)絡(luò)信息動態(tài)采集策略是，結(jié)合網(wǎng)站(或頻道)的自身特點，以增量信息采集技術(shù)為基礎(chǔ)取得采集周期內(nèi)的網(wǎng)頁變化，然后與四分位法所確定的網(wǎng)頁變化頻率