非關(guān)系海量URL存儲(chǔ)系統(tǒng)的研究.pdf

1、近年來(lái)隨著Web2.0的發(fā)展,各種創(chuàng)新的應(yīng)用和產(chǎn)品不斷在互聯(lián)網(wǎng)中出現(xiàn)使我的工作生活越來(lái)越離不開(kāi)網(wǎng)絡(luò)應(yīng)用。而由此產(chǎn)生的大規(guī)模甚至超大規(guī)模數(shù)據(jù)存儲(chǔ)和運(yùn)算需求僅僅依靠傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)手段已經(jīng)很難滿足當(dāng)前各種互聯(lián)網(wǎng)應(yīng)用大規(guī)模和時(shí)效性的應(yīng)用要求。為了處理當(dāng)前網(wǎng)絡(luò)應(yīng)用高要求以及硬件資源貧乏之間的矛盾,一種針對(duì)特定應(yīng)用設(shè)計(jì)特定存儲(chǔ)系統(tǒng)的運(yùn)動(dòng)在近年來(lái)逐漸發(fā)展起來(lái),它不以傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)作為基本的存儲(chǔ)處理手段,而是根據(jù)自身應(yīng)用的實(shí)際需要選擇以及設(shè)計(jì)存

2、儲(chǔ)系統(tǒng),以此用有限的資源來(lái)實(shí)現(xiàn)更高效更快速的存儲(chǔ)運(yùn)算任務(wù)。
　　本文將以高性能網(wǎng)絡(luò)爬蟲(chóng)的URL存儲(chǔ)系統(tǒng)為切入點(diǎn),研究與存儲(chǔ)系統(tǒng)相關(guān)的影響爬蟲(chóng)性能的幾個(gè)關(guān)鍵因素,然后應(yīng)用非關(guān)系數(shù)據(jù)庫(kù)的一些理論基礎(chǔ)和設(shè)計(jì)思想針對(duì)網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì)和研究專門(mén)的海量URL存儲(chǔ)系統(tǒng),從而滿足爬蟲(chóng)對(duì)快速進(jìn)行大規(guī)模URL數(shù)據(jù)的插入、去重、修改、查詢的需求。在此基礎(chǔ)上最終完成存儲(chǔ)系統(tǒng)的實(shí)現(xiàn),滿足我們現(xiàn)有爬蟲(chóng)系統(tǒng)的各項(xiàng)要求,并使爬蟲(chóng)系統(tǒng)得到較大的性能改善。
　　本

3、文主要的成果有以下幾個(gè)方面:
　　首先,針對(duì)爬蟲(chóng)URL存儲(chǔ)的特點(diǎn)內(nèi)部系統(tǒng)實(shí)現(xiàn)的要求,使用鍵值存儲(chǔ)方式,縮減了不必要的結(jié)構(gòu)化查詢功能并改為自定義增減存取功能。同時(shí)在鍵值存儲(chǔ)的基礎(chǔ)上設(shè)計(jì)了3級(jí)結(jié)構(gòu)的物理存儲(chǔ)方式,使存儲(chǔ)系統(tǒng)能夠自動(dòng)實(shí)現(xiàn)水平分區(qū)。
　　其次,采用了URL進(jìn)行分級(jí)哈希的方式得到多級(jí)鍵來(lái)生成主鍵的方式,用于快速查找定位數(shù)據(jù)路徑,以及快速進(jìn)行數(shù)據(jù)存儲(chǔ)更新。同時(shí)能夠?qū)⑾嗤蛎臄?shù)據(jù)集中到同一個(gè)存儲(chǔ)單元中,有利于針對(duì)爬蟲(chóng)按域