面向網(wǎng)絡(luò)爬蟲(chóng)的海量URL數(shù)據(jù)管理技術(shù)研究.pdf

1、海量URL的管理一直是提高網(wǎng)絡(luò)爬蟲(chóng)性能的一個(gè)瓶頸。現(xiàn)在，網(wǎng)絡(luò)規(guī)模越來(lái)越大，更新速度也變得越來(lái)越快，這些都促使網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)來(lái)提高其性能。所以如何高效地管理網(wǎng)絡(luò)爬蟲(chóng)的海量URL，使之能夠滿足網(wǎng)絡(luò)爬蟲(chóng)高性能的要求，也就顯得越來(lái)越重要了。
　　為了能夠解決網(wǎng)絡(luò)爬蟲(chóng)海量URL的高效管理問(wèn)題，本文從工程的角度，提出這樣一個(gè)解決方案。它包括一個(gè)基于NC-Trie的索引結(jié)構(gòu)、一個(gè)面向NC-Trie的緩存機(jī)制和一個(gè)基于計(jì)算機(jī)指令流水思想的任務(wù)處理體

2、系結(jié)構(gòu)。
　　首先，根據(jù)網(wǎng)絡(luò)爬蟲(chóng)所要管理的URL都是字符串這一特點(diǎn)，本文選取計(jì)算機(jī)界公認(rèn)的處理字符串信息最為高效的結(jié)構(gòu)——Tire結(jié)構(gòu)，來(lái)作為網(wǎng)絡(luò)爬蟲(chóng)海量URL管理的索引結(jié)構(gòu)。但是，Trie結(jié)構(gòu)在高效處理字符串的同時(shí)，也存在很多缺點(diǎn)。對(duì)存儲(chǔ)空間的浪費(fèi)就是Tire結(jié)構(gòu)的最大缺點(diǎn)。因此針對(duì)網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)海量URL管理的特點(diǎn)，在原有的Trie結(jié)構(gòu)壓縮方法的基礎(chǔ)上，本文提出一個(gè)改進(jìn)的Trie壓縮結(jié)構(gòu)——NC-Trie。NC-Trie比原有的

3、C-Trie具有更高的壓縮率，同時(shí)也保持了Trie結(jié)構(gòu)高速訪問(wèn)的優(yōu)點(diǎn)。
　　其次，由于網(wǎng)絡(luò)爬蟲(chóng)要管理的URL數(shù)量巨大，必須借助外存才能更好地實(shí)現(xiàn)高效管理。因此，必須對(duì)索引結(jié)構(gòu)進(jìn)行必要的緩存。針對(duì)爬蟲(chóng)系統(tǒng)對(duì)URL管理的特點(diǎn)，對(duì)于海量URL的索引的緩存，本文將采用最近最少用的替換策略，并采用一個(gè)轉(zhuǎn)換后的實(shí)現(xiàn)算法，來(lái)實(shí)施緩存的更新。
　　再者，根據(jù)網(wǎng)絡(luò)爬蟲(chóng)對(duì)URL訪問(wèn)的特點(diǎn)，本文使用計(jì)算機(jī)指令流水的基本思想，對(duì)網(wǎng)絡(luò)爬蟲(chóng)對(duì)URL的各