基于Hadoop的證據(jù)保全系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的飛速發(fā)展,數(shù)據(jù)已經(jīng)呈現(xiàn)出指數(shù)級增長的態(tài)勢。面對海量數(shù)據(jù)帶來的挑戰(zhàn),國內(nèi)外各大互聯(lián)網(wǎng)公司紛紛將云計算的概念應(yīng)用到商業(yè)服務(wù)中,并推出了各自的云服務(wù)。云服務(wù)是將各種計算資源和商業(yè)應(yīng)用程序以互聯(lián)網(wǎng)為基礎(chǔ)提供給用戶的服務(wù),這些服務(wù)將數(shù)據(jù)的處理過程從個人計算機(jī)或服務(wù)器轉(zhuǎn)移到互聯(lián)網(wǎng)的數(shù)據(jù)中心,從而減少用戶在硬件、軟件和專業(yè)技能方面的投資。目前云服務(wù)已經(jīng)被廣泛應(yīng)用到各個商業(yè)場景中,并發(fā)展成為一個非常成熟的商業(yè)服務(wù)模式。
　

2、　本文基于Hadoop,主要完成以下工作:
　　1,設(shè)計并實(shí)現(xiàn)針對于云服務(wù)的證據(jù)保全系統(tǒng)。證據(jù)保全系統(tǒng)主要實(shí)現(xiàn)以下功能:首先在云服務(wù)商與用戶之間架設(shè)網(wǎng)關(guān)服務(wù)器,根據(jù)云服務(wù)商指定的過濾條件獲取所有用戶對于指定的云服務(wù)API的HTTP請求,并提取出用戶特征信息。用戶特征信息主要包括:用戶名稱、用戶發(fā)起請求的時間、用戶所在地域、用戶請求的云服務(wù)API以及云服務(wù)API的參數(shù)。然后網(wǎng)關(guān)將用戶特征信息導(dǎo)入到數(shù)據(jù)分析系統(tǒng),數(shù)據(jù)分析系統(tǒng)將按照云服

3、務(wù)商指定的數(shù)據(jù)分析條件對用戶特征信息進(jìn)行分析,分析結(jié)果將以報表的形式展示給云服務(wù)商,最后數(shù)據(jù)分析系統(tǒng)將根據(jù)云服務(wù)商指定的歸檔條件將用戶特征信息歸檔到存儲系統(tǒng)以永久保存?？紤]到云服務(wù)商的用戶基數(shù)巨大,證據(jù)保全系統(tǒng)所要處理的數(shù)據(jù)量預(yù)計將維持在PB級別,因此證據(jù)保全系統(tǒng)將采用云計算平臺 Hadoop作為數(shù)據(jù)分析系統(tǒng)和存儲系統(tǒng)的底層實(shí)現(xiàn)。
　　2,證據(jù)保全系統(tǒng)定期根據(jù)多種歸檔條件將用戶特征信息歸檔存儲在 HDFS(Hadoop分布式文件系