面向大規(guī)模批量日志數(shù)據(jù)存儲方法的研究.pdf

1、防火墻、IPS/IDS、WEB服務(wù)器等大的網(wǎng)絡(luò)系統(tǒng)實(shí)時(shí)產(chǎn)生大量日志數(shù)據(jù)，能高效地存儲、處理這些數(shù)據(jù)是挖掘日志數(shù)據(jù)的前提。關(guān)系數(shù)據(jù)庫因?yàn)橐M(jìn)行類型檢查、語句分析等操作大大影響了其效率，越來越不適用于處理實(shí)時(shí)和海量日志數(shù)據(jù)。而無類型約束、易擴(kuò)展的鍵值數(shù)據(jù)庫無疑將大大提高對日志數(shù)據(jù)的處理效率。隨著互聯(lián)網(wǎng)的發(fā)展鍵值數(shù)據(jù)庫的應(yīng)用越來越廣泛，百度，谷歌，雅虎，阿里巴巴等大的互聯(lián)網(wǎng)公司都采用鍵值數(shù)據(jù)庫存取，現(xiàn)在熱門的云存儲，云計(jì)算其數(shù)據(jù)也用鍵值技術(shù)。

2、本文詳細(xì)介紹了鍵值數(shù)據(jù)庫的原理和主要技術(shù)，并設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)高效的、專門處理網(wǎng)絡(luò)日志數(shù)據(jù)的鍵值數(shù)據(jù)庫，能夠支持多維索引和事務(wù)處理，并保證進(jìn)程和線程安全。最后給出完成的鍵值數(shù)據(jù)庫的測試結(jié)果以及和BerkeleyDB數(shù)據(jù)庫的對比情況，指出實(shí)現(xiàn)鍵值數(shù)據(jù)庫的優(yōu)勢與不足，并給出下一步的優(yōu)化改進(jìn)措施。
　　本課題主要內(nèi)容是設(shè)計(jì)一個(gè)實(shí)時(shí)處理海量網(wǎng)絡(luò)日志數(shù)據(jù)的數(shù)據(jù)庫。其主要實(shí)現(xiàn)功能包括以下幾點(diǎn)：
　　(1)基于鍵值數(shù)據(jù)庫技術(shù)，開發(fā)一個(gè)網(wǎng)絡(luò)日

3、志存儲系統(tǒng)；
　　(2)保證較高的讀寫效率，寫日志到數(shù)據(jù)庫和從數(shù)據(jù)庫中讀日志的速率都達(dá)到每秒10萬條記錄的數(shù)量級；
　　(3)實(shí)現(xiàn)多維索引，實(shí)現(xiàn)從多個(gè)域查詢?nèi)罩居涗洠⒅С值戎挡檎?，范圍查找，遍歷操作等；
　　(4)線程安全，讀，寫進(jìn)程的同步與互斥，保證數(shù)據(jù)的完整性；
　　(5)實(shí)現(xiàn)C/S分布式存儲，利用libevent庫來實(shí)現(xiàn)主從存儲器間的通信。
　　本課題將采用一種從整體到局部的設(shè)計(jì)思路實(shí)現(xiàn)日志存儲系統(tǒng)