Hadoop中海量小文件存取關(guān)鍵技術(shù)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，每天產(chǎn)生的數(shù)據(jù)量正呈爆炸式增長，傳統(tǒng)的數(shù)據(jù)處理技術(shù)很難快速有效地處理海量數(shù)據(jù)。在此背景下，Hadoop作為一種高效處理海量數(shù)據(jù)的框架而得到廣泛應(yīng)用，其底層文件系統(tǒng)HDFS（Hadoop Distributed File System，Hadoop分布式文件系統(tǒng)）是運(yùn)行在普通廉價(jià)機(jī)器上的分布式文件系統(tǒng)，可以平滑擴(kuò)容，并提供高吞吐量的數(shù)據(jù)訪問，適合大規(guī)模數(shù)據(jù)集的處理。
　　HDFS采用“主/從”結(jié)構(gòu)，由一個(gè)名稱節(jié)

2、點(diǎn)（NameNode）和多個(gè)數(shù)據(jù)節(jié)點(diǎn)（DataNode）組成。Hadoop設(shè)計(jì)之初是為了處理大文件，系統(tǒng)中每個(gè)文件會(huì)在名稱節(jié)點(diǎn)的內(nèi)存中生成與其對(duì)應(yīng)的元數(shù)據(jù)，元數(shù)據(jù)的大小與文件大小無直接關(guān)系，因此，若系統(tǒng)中存在海量小文件，則名稱節(jié)點(diǎn)的內(nèi)存無法容納如此大量的元數(shù)據(jù)，從而導(dǎo)致其內(nèi)存的大小會(huì)成為系統(tǒng)擴(kuò)容的瓶頸。然而，在如今的互聯(lián)網(wǎng)時(shí)代，各種社交軟件、博客、購物網(wǎng)站等每天會(huì)產(chǎn)生大量小文件；在網(wǎng)絡(luò)硬盤中，用戶上傳的文件大多是文檔、圖片、音頻等小文件

3、，這給Hadoop的應(yīng)用帶來很大的挑戰(zhàn)。
　　針對(duì)Hadoop在存儲(chǔ)小文件時(shí)效率低下的問題，本文提出基于文件合并技術(shù)解決這一問題，基本思想是將多個(gè)小文件合并為大文件，并建立小文件到大文件的映射。針對(duì)Hadoop中海量小文件的檢索效率問題，本文采用R樹、倒排索引以及預(yù)處理器端全局映射管理技術(shù)，提供了依據(jù)文件名和文件元數(shù)據(jù)分別進(jìn)行檢索的方法。最后，通過搭建Hadoop平臺(tái)并實(shí)現(xiàn)本文所提出的方案，對(duì)所提出的算法進(jìn)行性能測試，結(jié)果表明，本