大數(shù)據(jù)的存儲和處理研究.pdf

1、近年來，隨著計算機技術和互聯(lián)網(wǎng)飛速地發(fā)展數(shù)據(jù)呈現(xiàn)爆炸式地增長，我們已經進入了一個“大數(shù)據(jù)”時代。如何從海量數(shù)據(jù)中挖掘出有價值的知識，是數(shù)據(jù)挖掘所面臨的主要問題之一。傳統(tǒng)的數(shù)據(jù)挖掘算法在處理海量數(shù)據(jù)時效率低下，很難滿足現(xiàn)階段對大數(shù)據(jù)處理的要求，所以如何存儲和處理大數(shù)據(jù)成為人們面臨的一個重大挑戰(zhàn)。然而云計算的出現(xiàn)解決了傳統(tǒng)數(shù)據(jù)挖掘算法在處理人數(shù)據(jù)挖掘時的瓶頸。Hadoop是Google公司云計算平臺的開源實現(xiàn)，主要包括HDFS分布式文件系統(tǒng)

2、和MapReduce編程模型兩個組成部分。Hadoop實現(xiàn)了對海量數(shù)據(jù)的分布式存儲和處理，在數(shù)據(jù)挖掘領域得到了廣泛的麻用。
　　本文主要對HDFS分布式文件系統(tǒng)和MapReduce編程模型這兩個部分進行研究。首先介紹了HDFS的相關概念，并詳細地分析了HDFS文件的讀取和寫入的過程。由于HDFS具有“一次寫入，多次讀取”的特點，一旦文件上傳到HDFS中就不能對文件中的內容進行修改。可以利用Hadoop提供的API給HDFS新增幾個

3、功能模塊，如新建一個空文件、重命名文件和續(xù)寫文件等操作，從而擴展了用戶對HDFS的操作。隨后詳細地闡述了MapReduce的相關內容和運行機制，然后通過對關聯(lián)規(guī)則挖掘中Apriori算法進行詳細地分析，指出了算法的不足之處，從而提出了將算法移植到MapReduce編程模型下的必要性。最后設計了一種基于MapReduce的Apriori改進算法。該算法摒棄了傳統(tǒng)算法多次遍歷數(shù)據(jù)庫的缺點并解決了現(xiàn)有基于MapReduce簡單的Apriori