面向海量數(shù)據(jù)處理領(lǐng)域的云計算及其關(guān)鍵技術(shù)研究.pdf

1、隨著信息技術(shù)的飛速發(fā)展，在許多科學(xué)領(lǐng)域中，數(shù)據(jù)爆炸已成為一個突出的問題。海量數(shù)據(jù)在提供豐富信息，與擴大人們視野的同時，也帶來了數(shù)據(jù)處理和存儲等方面的難題，其主要表現(xiàn)在以下幾個方面:不同信息系統(tǒng)中存在著大量異構(gòu)數(shù)據(jù)源;數(shù)據(jù)缺乏統(tǒng)一的規(guī)范化組織方法;在某些領(lǐng)域，海量數(shù)據(jù)是以大量小文件形式存在，難以有效分析處理;此外，還需要解決海量數(shù)據(jù)的高效存儲問題等。近年來，云計算技術(shù)的不斷成熟和發(fā)展，為海量數(shù)據(jù)處理提供了一種新的有效方法。
　　本文

2、以海量數(shù)據(jù)為研究對象，深入研究了云計算相關(guān)理論，并結(jié)合有關(guān)前沿思想，突破了云計算在海量數(shù)據(jù)處理中的若干關(guān)鍵技術(shù)，建立了一套行之有效的海量數(shù)據(jù)分析處理方法。本文的主要內(nèi)容如下:
　　(1)在已有云平臺各自特點基礎(chǔ)上，整合開源云平臺用于處理和存儲海量數(shù)據(jù)，建立了一種新的基于云計算環(huán)境的海量小文件處理模型C-MSFPM(Cloudcomputing-Massive Small Files Process Model)。該模型針對小文件處

3、理的特點，通過基于MapReduce和特征向量減少的改進(jìn)KNN算法的進(jìn)行文件分類，建立文件索引機制，以及就近原則和權(quán)值相似度的文件合并算法，對海量小文件進(jìn)行處理。
　　(2)在海量小文件處理模型C-MSFPM基礎(chǔ)上，針對文件查詢過程中的復(fù)雜處理及內(nèi)容映射，構(gòu)建了基于XML和多Value的改進(jìn)MapReduce模型。該模型使用XML標(biāo)記數(shù)據(jù)的內(nèi)容、坐標(biāo)、操作映射等信息。對于海量數(shù)據(jù)的復(fù)雜處理，內(nèi)容映射的查詢，通過XML標(biāo)記及Map過

4、程中的多Value處理，一次定位即可查詢到與數(shù)據(jù)相關(guān)的所有信息，極大地提高了數(shù)據(jù)處理效率。在此基礎(chǔ)上，針對海量PDF小文件的內(nèi)容映射查詢、排序，通過實驗進(jìn)行多組數(shù)據(jù)的對比，試驗表明了模型的算法正確，性能可靠。對于基于云平臺的車載信息數(shù)據(jù)處理，通過引進(jìn)資源池策略，解決海量數(shù)據(jù)傳輸中的數(shù)據(jù)包丟失問題。
　　(3)針對云存儲的問題，分析云存儲中的協(xié)調(diào)機制和虛擬化，從虛擬節(jié)點的性能引伸出虛擬存儲節(jié)點存儲效率值的概念，并討論了云存儲機制和任